DeepSeek V4: ten teachers, one student

摘要

DeepSeek V4 放棄傳統強化學習階段，改用十位專家教師進行線上政策精簡，透過混合注意力機制大幅降低百萬字元上下文成本。文章解析其架構細節、訓練策略與基準測試表現，並探討此方法對未來大型模型開發的影響。

DeepSeek V4 replaces the RL stage with on-policy distillation from ten specialist teachers, using hybrid attention to handle long contexts efficiently.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• V4 以十位專家教師進行線上政策精簡，取代傳統強化學習階段。
• 混合注意力機制與 Muon 最佳化器大幅降低百萬字元上下文的運算成本。
• V4 在程式碼能力上領先，但事實性與校準度仍落後封閉模型。

提到的工具與公司

• DeepSeek-V4
• DeepSeek-V4-Pro
• DeepSeek-V4-Flash
• Muon
• GRPO
• Reverse-KL
• TileLang
• Nvidia Hopper

適合誰看

適合關注大型語言模型架構、訓練策略與效能最佳化的開發者與研究者。

摘要依據

講者

Maxime Labonne

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.63

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• From DeepSeek V3 to V3.2: Architecture, Sparse Attention, and RL Updates文章 ・ Sebastian Raschka（部落格）
• How is Deepseek V4 so cheap (A deep dive into Sparse Attention)影片 ・ Neural Breakdown with AVB
• DeepSeek V4's Secret: 98% Less Memory影片 ・ Jia-Bin Huang
• DeepSeek V4是怎么训练出来的？73页PPT深入解析影片 ・ Alchain花生 ・ 36 分鐘
• 【闪客】深入解读 DeepSeek V1~V4！男女老少都听得懂～影片 ・ 飞天闪客 ・ 12 分鐘
• 94. 逐篇讲解DeepSeek、Kimi、MiniMax注意力机制新论文——“硬件上的暴力美学”Podcast ・ 张小珺Jùn｜商业访谈录 ・ 2 小時 36 分