A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

摘要

回顧了 2026 年 1 月至 3 月間十款開放權重大語言模型的十款主要發布，涵蓋了從 3B 到 1T 引數的各種架構。文章重點分析了 Arcee Trinity Large、Moonshot Kimi K2.5、StepFun Step 3.5 Flash、GLM-5、MiniMax M2.5 等模型在混合專家架構、注意力機制（如滑動視窗注意力、多頭潛在注意力）及訓練最佳化上的差異與優勢。

This article reviews ten major open-weight LLM releases from January to March 2026, covering architectures ranging from 3B to 1T parameters. It highlights key architectural differences and advantages in models like Arcee Trinity Large, Moonshot Kimi K2.5, StepFun Step 3.5 Flash, GLM-5, and MiniMax M…

重點

• 十款開放權重大模型於 2026 年初發布，引數範圍從 3B 至 1T 不等。
• Trinity Large 採用 3:1 區域性全域性注意力與 QK-Norm 穩定訓練。
• Kimi K2.5 是 1T 引數的多模態模型，基於 DeepSeek 架構。

提到的工具與公司

• StepFun
• Qwen
• z.AI
• MiniMax
• Nanbeige
• Cohere

適合誰看

對開放權重大語言模型架構、注意力機制及效能比較感興趣的程式開發者與 AI 研究者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.43

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• My Workflow for Understanding LLM Architectures文章 ・ Sebastian Raschka（部落格）（在新分頁開啟原站）
• Beyond Standard LLMs文章 ・ Sebastian Raschka（部落格）
• A Closer Look At Kimi K3's INSANE Architecture Breakthrough影片 ・ bycloud ・ 17 分鐘（在新分頁開啟原站）
• GLM-5.2 vs MiniMax-M3: Opus Has REAL COMPETITION (Model Stacking)影片 ・ IndyDevDan ・ 26 分鐘（在新分頁開啟原站）
• Olmo Hybrid and future LLM architecturesPodcast ・ Interconnects ・ 11 分鐘（在新分頁開啟原站）
• LLM Architecture in 2026: What You Need to Know with Sebastian RaschkaPodcast ・ Vanishing Gradients ・ 1 小時 18 分（在新分頁開啟原站）