【生成式AI時代下的機器學習(2025)】第五講：大型語言模型訓練方法「預訓練–對齊」(Pretrain-Alignment) 的強大與極限

摘要

深入探討大型語言模型訓練中「預訓練」與「對齊」的強大與極限，指出預訓練奠定基礎能力，而對齊僅需少量高品質資料進行畫龍點睛的微調。透過實例分析，說明對齊雖能改善人類價值觀的對齊度與回答品質，但無法完全抹除模型參數中潛藏的偏見或知識，僅是抑制其表達而非刪除記憶。

This video explains the power and limits of pre-training and alignment in LLM training, noting that alignment is a fine-tuning step that cannot fully erase pre-trained biases.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 預訓練階段奠定模型基礎能力，是強大表現的關鍵。
• 對齊階段只需少量高品質資料，起到畫龍點睛的作用。
• 對齊無法完全刪除模型參數中的偏見，僅是抑制其表達。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00預訓練對齊三階段與 LLaMA-3 表現
2. 08:46知乎與弱智吧資料對模型效果分析
3. 12:01利用強模型做知識蒸餾進行對齊
4. 14:52Alpaca 系列論文與資料品質比對
5. 19:38用 ChatGPT 續寫資料訓練模型實驗
6. 24:07Alignment 前後模型機率分佈變化解析
7. 26:48連線詞與結束符號在對齊中的關鍵作用
8. 43:00多樣化資料對預訓練的有效性
9. 49:20資料品質與清理流程的重要性
10. 57:06過濾資料的實驗驗證方法
11. 59:57對齊技術的知識邊界與極限
12. 1:02:41模型學習已知與未知問題的差異
13. 1:10:35預訓練資料留下的隱藏痕跡
14. 1:15:15對齊後隱藏偏好的神經元分析

提到的工具與公司

• LLaMA-2-7b-base
• LLaMA-2-7b-chat
• LLaMA-3-70B
• LLaMA-3-70B-instruct
• MTBench
• GPT-4
• DPO
• GPTQ

適合誰看

正在學習機器學習原理、大型語言模型訓練流程或對 AI 技術感興趣的學生與開發者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.53

新鮮

0.12

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分（在新分頁開啟原站）
• 【生成式AI導論 2024】第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)影片 ・ Hung-yi Lee ・ 38 分鐘
• llm weights vs the papercuts of corporate文章 ・ Geoffrey Huntley（部落格）
• Animals vs Ghosts文章 ・ Andrej Karpathy（部落格）
• Large Language Models explained briefly影片 ・ 3Blue1Brown ・ 8 分鐘（在新分頁開啟原站）
• Safety Alignment Should be Made More Than Just a Few Tokens Deep (Paper Explained)影片 ・ Yannic Kilcher ・ 49 分鐘（在新分頁開啟原站）