How Small Models Learn to Think Like Giants | On-Policy Distillation

摘要

從第一原理解釋知識蒸餾，介紹 On-Policy Distillation 讓學生模型在獲得教師指導的同時，利用自身軌跡進行學習。觀眾能理解如何訓練小型但強大的 AI 模型，並掌握相關技術應用。

This video explains On-Policy Distillation from first principles to train small yet powerful AI models.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

適合誰看

具備機器學習基礎、想深入了解模型訓練原理的開發者或研究者。

摘要依據

講者

On-Policy Distillation、Jia-Bin Huang

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.44

新鮮

0.72

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Training Agents 2: Live tutorial on model distillation for training custom agents.影片 ・ Hugging Face ・ 1 小時 8 分
• Hugging Face Journal Club: Direct On-Policy Distillation影片 ・ Hugging Face ・ 33 分鐘
• Nemotron Cascade 2: On-policy distillation is back!文章 ・ Maxime Labonne
• How much does distillation really matter for Chinese LLMs?Podcast ・ Interconnects ・ 11 分鐘
• 蒸馏文章 ・ 李博杰（Bojie Li）
• 179: 蒸馏风暴：一场无人公开谈论的技术竞赛Podcast ・ 晚点聊 LateTalk ・ 50 分鐘