94. 逐篇讲解DeepSeek、Kimi、MiniMax注意力机制新论文——“硬件上的暴力美学”

摘要

邀請 MIT 博士生楊松琳，深度解析 DeepSeek、Kimi 與 MiniMax 近期發表的注意力機制改進論文。內容涵蓋動態稀疏注意力與混合模型架構，探討如何解決長文字處理的效能與成本問題，並分析各公司的技術路線與創新點。

An interview analyzing recent papers from DeepSeek, Kimi, and MiniMax on improved attention mechanisms for long-context tasks.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• DeepSeek 與 Kimi 採用動態稀疏注意力以最佳化長文字處理效能。
• MiniMax 則結合線性與 Softmax 注意力，打造混合模型架構。
• 解析不同架構在訓練與推理階段的優缺點及技術哲學。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00DeepSeek 與 MiniMax 注意力機制創新解析
2. 22:23NSA 稀疏注意力架構與滑窗分支運作
3. 54:17Moe 框架下投影效率與 KV Cache 保留優勢
4. 1:06:05Quest 選取區塊機制與端到端訓練驗證
5. 1:11:47原生可訓練快速注意力與推理訓練雙效
6. 1:45:03MiniMax 混合架構與 Lightning 注意力層級
7. 1:47:03尼鳥探手 Linear Attention 原理與演算
8. 1:52:26Mamba Two 架構訓練難點與串塊演算法
9. 2:02:33百萬級序列應用與 Neural Attention 庫
10. 2:10:56固定狀態壓縮與 Self-Attention 檢索差異
11. 2:14:15Hybrid 架構效能對比與 MiniMax 實例
12. 2:35:15國內 AI 技術發展與節目訂閱資訊

提到的工具與公司

• DeepSeek
• Kimi
• MiniMax
• MoBA

適合誰看

對大語言模型架構、注意力機制及 AI 研發趨勢感興趣的技術人員或研究者。

摘要依據

講者

张小珺

依據

語音轉文字

為什麼排在這裡

人氣

0.33

新鮮

0.10

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 119. Kimi Linear、Minimax M2？和杨松琳考古算法变种史，并预演未来架构改进方案影片 ・ Zhang Xiaojun Podcast ・ 1 小時 43 分
• Attention? Attention!文章 ・ Lilian Weng（部落格）
• 【闪客】深入解读 Kimi 爆火论文，马斯克都转了！到底什么是注意力残差？白话解读哟影片 ・ 飞天闪客 ・ 8 分鐘（在新分頁開啟原站）
• How DeepSeek Rewrote the Transformer [MLA]影片 ・ Welch Labs ・ 18 分鐘（在新分頁開啟原站）
• Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention文章 ・ Sebastian Raschka（部落格）
• From DeepSeek V3 to V3.2: Architecture, Sparse Attention, and RL Updates文章 ・ Sebastian Raschka（部落格）