DeepSeek V4: ten teachers, one student
DeepSeek V4 放棄傳統強化學習階段，改用十位專家教師進行線上政策精簡，透過混合注意力機制大幅降低百萬字元上下文成本。文章解析其架構細節、訓練策略與基準測試表現，並探討此方法對未來大型模型開發的影響。
Maxime Labonne
10 筆內容
他的來源
最受歡迎
依人氣
MiniMax-M2.5: The $1/hour Frontier Model
介紹 MiniMax 新推出的 M2.5 模型，其採用 MoE 架構與 Forge 強化學習框架，在程式碼與辦公自動化任務上表現優異且成本極低。讀者可了解其技術細節、定價優勢及與現有頂尖模型的比較。
Nemotron Cascade 2: On-policy distillation is back!
深入分析 Nvidia 推出的 Nemotron Cascade 2 模型，重點探討其使用多領域同策略精煉（MOPD）技術，透過分階段強化學習與特定領域教師模型，在數學與程式推理上達到頂尖表現。
Kimi K2.5: Still Worth It After Two Weeks?
Moonshot AI 推出參數達 1.04 兆的 Kimi K2.5，引入 Agent Swarm 架構與早期融合視覺技術，在視覺與編碼任務表現突出。文章分析其與 GLM-5、Qwen3.5 等模型的對比，並探討部署成本與實際應用挑戰。
Nemotron 3 Super: NVIDIA's gpt-oss killer?
NVIDIA 推出 Nemotron 3 Super，採用混合 Mamba-Transformer 架構與 LatentMoE 技術，在保持高準確度的同時大幅提升推理速度。
The State of the Open Frontier
分析 2026 年開放權重大型語言模型的現狀，指出 MiMo-V2.6-Pro 等中國模型已接近閉源模型水準，但美國模型仍較弱。文章詳述了 MoE 架構、注意力機制、訓練策略及經濟模式，並比較各模型在指標與實際任務上的表現。
Nemotron 3 Ultra: what distillation can't fix
深入解析 Nemotron 3 Ultra 模型的架構、訓練過程與後訓練策略，探討其如何利用多教師者政策蒸餾（MOPD）提升效能。
Qwen3.5: Nobody Agrees on Attention Anymore
分析阿里巴巴 Qwen3.5 模型，重點介紹其混合注意力架構與稀疏專家混合設計，並對比 MiniMax M2.5、GLM-5 等競爭對手在推理、程式設計與視覺任務上的表現。
ChessLFM: 2000 Elo in 230M params
介紹如何用極小的 2.3 億參數模型，透過特定詞彙化、Stockfish 知識蒸餾與測試時搜尋，達到 2004 棋力等級。讀者可學習將通用語言模型轉化為專注棋盤的引擎，並掌握 SFT、HL-Gauss 與 GRPO 等訓練技巧。
GLM-5: China's First Public AI Company Ships a Frontier Model
GLM-5 是智譜 AI 推出的 744B 參數專家混合模型，採用稀疏注意力與深度推理模式，在程式碼與代理任務上表現突出。文章詳細解析其技術架構、訓練流程及 benchmarks，並探討其作為 API 模型的市場定位與挑戰。
最新內容
依發布時間
ChessLFM: 2000 Elo in 230M params
介紹如何用極小的 2.3 億參數模型，透過特定詞彙化、Stockfish 知識蒸餾與測試時搜尋，達到 2004 棋力等級。讀者可學習將通用語言模型轉化為專注棋盤的引擎，並掌握 SFT、HL-Gauss 與 GRPO 等訓練技巧。
The State of the Open Frontier
分析 2026 年開放權重大型語言模型的現狀，指出 MiMo-V2.6-Pro 等中國模型已接近閉源模型水準，但美國模型仍較弱。文章詳述了 MoE 架構、注意力機制、訓練策略及經濟模式，並比較各模型在指標與實際任務上的表現。
DeepSeek V4: ten teachers, one student
DeepSeek V4 放棄傳統強化學習階段，改用十位專家教師進行線上政策精簡，透過混合注意力機制大幅降低百萬字元上下文成本。文章解析其架構細節、訓練策略與基準測試表現，並探討此方法對未來大型模型開發的影響。
Nemotron 3 Ultra: what distillation can't fix
深入解析 Nemotron 3 Ultra 模型的架構、訓練過程與後訓練策略，探討其如何利用多教師者政策蒸餾（MOPD）提升效能。
Nemotron Cascade 2: On-policy distillation is back!
深入分析 Nvidia 推出的 Nemotron Cascade 2 模型，重點探討其使用多領域同策略精煉（MOPD）技術，透過分階段強化學習與特定領域教師模型，在數學與程式推理上達到頂尖表現。
Nemotron 3 Super: NVIDIA's gpt-oss killer?
NVIDIA 推出 Nemotron 3 Super，採用混合 Mamba-Transformer 架構與 LatentMoE 技術，在保持高準確度的同時大幅提升推理速度。
Kimi K2.5: Still Worth It After Two Weeks?
Moonshot AI 推出參數達 1.04 兆的 Kimi K2.5，引入 Agent Swarm 架構與早期融合視覺技術，在視覺與編碼任務表現突出。文章分析其與 GLM-5、Qwen3.5 等模型的對比，並探討部署成本與實際應用挑戰。
Qwen3.5: Nobody Agrees on Attention Anymore
分析阿里巴巴 Qwen3.5 模型，重點介紹其混合注意力架構與稀疏專家混合設計，並對比 MiniMax M2.5、GLM-5 等競爭對手在推理、程式設計與視覺任務上的表現。
MiniMax-M2.5: The $1/hour Frontier Model
介紹 MiniMax 新推出的 M2.5 模型，其採用 MoE 架構與 Forge 強化學習框架，在程式碼與辦公自動化任務上表現優異且成本極低。讀者可了解其技術細節、定價優勢及與現有頂尖模型的比較。
GLM-5: China's First Public AI Company Ships a Frontier Model
GLM-5 是智譜 AI 推出的 744B 參數專家混合模型，採用稀疏注意力與深度推理模式，在程式碼與代理任務上表現突出。文章詳細解析其技術架構、訓練流程及 benchmarks，並探討其作為 API 模型的市場定位與挑戰。