Making Knowledge Distillation Cheap Enough to Run at Scale

摘要

介紹了如何透過最佳化知識蒸餾（Knowledge Distillation）流程，大幅降低其計算與記憶體成本。作者提出兩種系統性改動：將教師模型的 logits 預先儲存並僅在訓練時使用，以及採用分塊計算的 KL 散度損失，避免一次性構建整個詞表與序列的龐大矩陣。這些方法讓原本需要數百張 GPU 的訓練僅需單張 H200 即可在長上下文下執行，使大規模實驗變得可行。

This paper introduces systematic optimizations to drastically reduce the computational and memory costs of knowledge distillation. By caching teacher logits and using a chunked KL divergence loss, the authors enable long-context distillation on a single H200 GPU, making large-scale experiments tract…

重點

• 教師模型 logits 僅在訓練時使用，無需全程儲存在記憶體中。
• 採用分塊計算的 KL 散度損失，避免一次性構建整個詞表與序列矩陣。
• 單張 H200 GPU 即可在長上下文下完成大規模知識蒸餾實驗。

提到的工具與公司

• PyTorch
• NVIDIA Megatron-Bridge
• H200 GPU
• B200 GPU

適合誰看

AI 開發者、研究人員及希望將大模型部署於單卡環境的技術人員。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.82

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Large Transformer Model Inference Optimization文章 ・ Lilian Weng（部落格）
• How to Train Really Large Models on Many GPUs?文章 ・ Lilian Weng（部落格）
• Jongryool Kim - Disaggregated LLM Serving with Shared Memory KV Cache at Rack Scale影片 ・ Berkeley RDI ・ 5 分鐘（在新分頁開啟原站）
• The Memory Problem, Baseten | Compile 26影片 ・ Cursor ・ 13 分鐘（在新分頁開啟原站）
• Ep 74: Chief Scientist of Together.AI Tri Dao On The End of Nvidia's Dominance, Why Inference Costs Fell & The Next 10X in SpeedPodcast ・ Unsupervised Learning ・ 59 分鐘（在新分頁開啟原站）
• MIT 6.S191: Secrets of Massively Parallel Training影片 ・ Alexander Amini ・ 53 分鐘（在新分頁開啟原站）