Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

摘要

介紹了 Olmo-core 3，這是 Hugging Face 推出的大型混合專家（MoE）訓練架構升級版。它旨在將訓練規模擴充套件至十億引數級別，同時保持計算效率。該架構採用分散式資料並行（DDP）取代舊有的分散式全量資料並行（FSDP），並結合專家並行、管道並行及分散式最佳化器技術，有效解決了大規模 MoE 訓練中的通訊與儲存瓶頸問題。

This article introduces Olmo-core 3, an upgraded training infrastructure for large-scale Mixture-of-Experts (MoE) models. Designed to scale training to the trillion-parameter range while maintaining efficiency, it employs a new DDP-based system that optimizes communication and memory usage compared to previous FSDP implementations.

重點

• Olmo-core 3 是 Hugging Face 推出的大型 MoE 訓練架構升級版，旨在將訓練規模擴充套件至十億引數級別。
• 該架構採用分散式資料並行（DDP）取代舊有的分散式全量資料並行（FSDP），有效解決了大規模 MoE 訓練中的通訊與儲存瓶頸。
• 透過結合專家並行、管道並行及分散式最佳化器技術，Olmo-core 3 在保持計算效率的同時，大幅提升了訓練吞吐量與資源利用率。

提到的工具與公司

• NVIDIA B300
• DeepEP v2
• MXFP8
• DDP
• FSDP
• GEMM

適合誰看

AI 研究者、開發者及希望訓練大型混合專家模型的研究人員。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

1.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• How to Train Really Large Models on Many GPUs?文章 ・ Lilian Weng（部落格）
• Accelerating AI innovation影片 ・ CoreWeave ・ 9 分鐘（在新分頁開啟原站）
• The Insane Infrastructure Design of DeepSeek V4影片 ・ bycloud ・ 27 分鐘（在新分頁開啟原站）
• The Future of AI Infrastructure with CoreWeavePodcast ・ Practical AI ・ 50 分鐘
• Inside the $41B AI Cloud Challenging Big Tech | CoreWeave SVPPodcast ・ Gradient Dissent ・ 53 分鐘（在新分頁開啟原站）
• Distributed Data Parallel (DDP) with PyTorch: complete tutorial with cloud infrastructure and code影片 ・ Umar Jamil ・ 1 小時 13 分（在新分頁開啟原站）