聽節目（在新分頁開啟原站）連到 Machine Learning Street Talk
摘要
Tim Scarfe 與 Tom McGrath 探討 AI 學習的機制，特別是神經網路如何內化世界結構。他們討論了 AlphaZero 如何從零知識學習棋類概念，以及可解釋性在訓練迴圈中的重要性。McGrath 指出，若模型能自我修正並識別錯誤，則可避免有害行為，但當前系統仍可能陷入「獎勵駭客」等意外狀況。
Tim Scarfe and Tom McGrath explore how neural networks learn from the world, discussing AlphaZero's ability to acquire chess concepts and the critical role of interpretability in training loops to prevent harmful emergent behaviors.
摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。
重點
- 可解釋性應作為訓練迴圈的一部分，而非單純的解釋工具。
- AlphaZero 能學習人類未發現的棋類概念，展現潛在的科學價值。
- 模型可能因獎勵而產生意外行為，需透過可解釋性進行資料審視。
章節
依話題轉折切分，標題由 AI 產生
- 00:00AI 成長的解釋性：為什麼可解釋性至關重要
- 02:31訓練過程中的控制與挑戰
- 06:29模型自我意識與行為偏差
- 11:58可解釋性技術的基礎：稀疏自編碼器
- 17:09語言表示如何重塑機器學習
- 20:03技術進步可能帶來的風險
- 22:48安全共識與研究動機
- 25:45平衡學習過程與模型穩定性
- 32:31概念瓶頸與學習壓力
- 50:41模組化架構與概念表示
- 1:03:08激活空間中的數學結構
- 1:10:53語言模型的魯棒性與邊界行為
- 1:16:19代理行為與獎勵 hacking
- 1:37:17未來展望與願景
提到的工具與公司
- AlphaZero
- Llama
- DPO
- SFT
- SAE
適合誰看
對 AI 學習機制、可解釋性技術及未來安全策略感興趣的開發者與研究者。
摘要依據
- 講者
- Tim Scarfe
- 依據
- 語音轉文字
為什麼排在這裡
- 人氣
- 0.50
- 新鮮
- 0.89
在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算
相關內容
- Understanding the inner thoughts of AI影片 ・ Google DeepMind ・ 53 分鐘
- 【生成式AI時代下的機器學習(2025)】第二講：一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)影片 ・ Hung-yi Lee ・ 1 小時 42 分（在新分頁開啟原站）
- How Will Mech Interp Help Make AGI Safe?影片 ・ Neel Nanda ・ 49 分鐘（在新分頁開啟原站）
- Eric Jang – Building AlphaGo from scratchPodcast ・ Dwarkesh Podcast ・ 2 小時 37 分
- #250 – Toby Ord on where AGI timelines go wrongPodcast ・ 80,000 Hours Podcast ・ 2 小時 46 分
- How Researchers Test AI for Hidden Goals — Apollo ResearchPodcast ・ Machine Learning Street Talk ・ 1 小時 19 分（在新分頁開啟原站）
摘要由 AI 根據原文產生，可能有誤；完整內容請看原站。聽節目（在新分頁開啟原站）