Recurrence and Attention for Long-Context Transformers with Jacob Buckman - #750

摘要

探討解決長上下文 Transformer 的瓶頸，介紹 Power Retention 架構如何透過權重與狀態平衡提升效率。內容涵蓋在上下文學習曲線、負對數似然度等指標的測量方法，並示範 PowerCoder 模型與 Vidrial 框架的實際應用。

A podcast interview discussing Power Retention architecture for long-context transformers, context utility metrics, and open-source demos like PowerCoder.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Power Retention 架構透過平衡權重與狀態計算，實現訓練與推論的極速提升。
• 透過負對數似然度等指標，可量化模型在不同上下文長度下的真實效用。
• 提供 PowerCoder 模型與 Vidrial 框架，讓開發者能直接體驗長上下文加速效果。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00平衡架構才是長上下文關鍵
2. 03:49長上下文熱度退潮需更聰明
3. 07:35預訓練階段長上下文提升預測
4. 09:43Transformer 架構與狀態大小關係
5. 12:46並行化優勢與線性成本最佳解
6. 17:46KV Cache 即狀態與二次方縮放
7. 21:43多軸平衡最佳化降低狀態大小
8. 24:26平衡架構軸以最佳化長上下文效能
9. 27:02探討狀態大小與參數量的關係
10. 36:20自底向上建構 Vidrio CUDA 框架
11. 41:16透過靜態分析與 JIT 整合提升效率
12. 44:22利用重訓練實現架構轉化
13. 49:32基於縮放定律建立長上下文信心
14. 54:25提供 PowerCoder 模型供社群實驗

提到的工具與公司

• PowerCoder
• Vidrial
• Hugging Face
• StarCoder
• QuanCoder
• Mamba

適合誰看

正在研發或最佳化長上下文 AI 模型、關注 Transformer 架構演進的開發者與研究人員。

摘要依據

講者

Sam Charrington

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.25

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford CS229 Machine Learning | Spring 2026 | Lecture 14: Transformers, In-Context Learning影片 ・ Stanford Online ・ 1 小時 18 分
• The Transformer Family文章 ・ Lilian Weng（部落格）
• The Transformer Family Version 2.0文章 ・ Lilian Weng（部落格）
• Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention影片 ・ Yannic Kilcher ・ 37 分鐘（在新分頁開啟原站）
• TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters (Paper Explained)影片 ・ Yannic Kilcher ・ 28 分鐘（在新分頁開啟原站）
• OpenAI Astra and Recurrent Depth / Looped Transformers影片 ・ Sebastian Raschka ・ 28 分鐘（在新分頁開啟原站）