【生成式AI時代下的機器學習(2025)】第六講：生成式人工智慧的後訓練(Post-Training)與遺忘問題

摘要

李宏毅教授深入解析生成式 AI 的後訓練（Post-Training）與遺忘問題，說明如何為通用模型注入特定技能。課程探討了避免模型在學習新任務時遺忘原有能力的策略，並介紹了過濾難產生 Token 的技術。

This lecture explains post-training for language models and strategies to prevent catastrophic forgetting when learning new skills.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 後訓練是用現有模型學習特定領域或語言的新技能。
• 過度訓練新任務會導致模型遺忘原本具備的能力。
• 過濾訓練資料中對基礎模型極難產生的 Token 可減少遺忘。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00後訓練定義與專長模型打造
2. 05:44LLaMA 對齊後遺忘案例解析
3. 15:46Benchmark 測試顯示能力崩潰
4. 19:43多模態模型後訓練遺忘挑戰
5. 24:20災難性遺忘現象與成因分析
6. 27:08目標任務表現與遺忘程度關係
7. 33:152019 年十項全能模型構想回顧
8. 39:33微調導致能力遺忘的現象
9. 42:27經驗回放法解決遺忘問題
10. 46:48利用自問自答重現舊資料
11. 52:58喜鵲方法生成訓練資料
12. 55:47基礎模型改寫答案訓練
13. 1:05:29通用能力應對未見指令
14. 1:08:20動態評估驗證模型表現

提到的工具與公司

• LLaMA
• Gemma
• DeepSeek
• ChatGPT
• GPT-2
• LLaMA-2
• LLaMA-3
• GPT-4o

適合誰看

正在進行語言模型微調或後訓練開發的程式工程師與機器學習研究者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.51

新鮮

0.13

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式人工智慧與機器學習導論2025】第 6 講：一堂課搞懂訓練類神經網路的各種訣竅影片 ・ Hung-yi Lee ・ 2 小時 6 分（在新分頁開啟原站）
• 【生成式AI時代下的機器學習(2025)】第一講：一堂課搞懂生成式人工智慧的技術突破與未來發展影片 ・ Hung-yi Lee ・ 1 小時 24 分（在新分頁開啟原站）