What Comes After Transformers?

摘要

探討 Pathway 公司如何研發超越 Transformer 架構的新模型，透過潛在空間推理與持續學習解決時間與記憶限制。內容涵蓋 Chain of Thought 的缺點、Latent Reasoning 的成本優勢與安全性考量，以及 Arc AGI 基準測試的意義。

An interview discussing Pathway's post-Transformer architectures, latent reasoning, and the Arc AGI benchmark.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Transformer 架構在處理時間維度與經驗學習上存在瓶頸。
• 潛在空間推理能大幅降低推理成本並提升模型效率。
• Arc AGI 基準測試用於衡量模型在自主適應與數學推理上的進展。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Pathway 公司背景與核心願景
2. 05:06隱式思考與可追溯性的辯證
3. 08:38持續學習與避免災難性遺忘
4. 13:38最佳化推理能力與適應性
5. 17:08小模型在邊緣裝置上的表現
6. 20:52Arc AGI 基準測試的重要性
7. 23:19隱式思考的完整架構與記憶觀
8. 32:52企業主權 AI 與小模型訓練成本
9. 35:24驗證架構後規劃更大規模模型
10. 38:05追求極速迭代與長上下文推理
11. 41:38探討開源權重與私有部署模式
12. 45:25感謝訪客並提供訂閱與連結

適合誰看

關注 AI 架構演進、持續學習與潛在空間推理技術的研究者與開發者。

摘要依據

講者

Ben Lorica

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.94

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Building the Automated AGI Lab: Core Automation's Jerry Tworek and Rohan Anil影片 ・ Sequoia Capital ・ 49 分鐘
• AI Research Legend’s Honest Assessment of Where We Are影片 ・ Unsupervised Learning: With Jacob Effron
• GPT-6 Astra, Looped Transformers, and Hidden Reasoning文章 ・ Sebastian Raschka（部落格）
• Exploring “Next-Latent Prediction Transformers Learn Compact World Models” with Jayden Teoh from MIT影片 ・ Deep Learning with Yacine
• What’s Next for AI? OpenAI’s Łukasz Kaiser (Transformer Co-Author)Podcast ・ The MAD Podcast ・ 1 小時 5 分
• The Transformer Family文章 ・ Lilian Weng（部落格）