【生成式AI導論 2024】第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)

摘要

介紹大型語言模型第二階段的訓練方法，即利用人類標註的指令資料進行微調（Instruction Fine-tuning）。講者解釋了為何僅靠網路爬蟲資料無法讓模型具備常識，並說明如何透過逆向工程 ChatGPT 對話來獲取訓練資料。最後提及 LLaMA 模型的釋出如何讓社群能輕易微調出 Alpaca、Vicuna 等專屬模型。

This course explains the second stage of training large language models using human-labeled instruction data and discusses the impact of LLaMA on community fine-tuning.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 大型語言模型需透過人類標註的指令資料進行微調才能具備常識。
• 可透過逆向工程 ChatGPT 對話記錄來獲取微調所需的訓練資料。
• LLaMA 模型的釋出讓社群能輕易微調出 Alpaca、Vicuna 等專屬模型。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00人類老師如何教導語言模型
2. 02:02督導式學習與標註資料的重要性
3. 07:41Adapter 技術與初始參數的妙用
4. 13:10預訓練模型如何舉一反三
5. 16:48打造特定任務的專才模型
6. 20:33路線二：打造全能通才模型
7. 23:44指令微調提升模型任務表現
8. 26:56In-Context Learning 與指令微調大幅提升模型表現
9. 30:20逆向工程 ChatGPT 以極少資料完成指令微調
10. 36:23Meta 推出 LLaMA 開啟開放式大型語言模型時代

提到的工具與公司

• LLaMA
• GPT-3
• PaLM
• Alpaca
• Vicuna
• BERT
• LoRA
• Colab

適合誰看

正在學習機器學習或大型語言模型原理的學生與開發者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.53

新鮮

0.03

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式AI導論 2024】第6講：大型語言模型修練史 — 第一階段: 自我學習，累積實力 (熟悉機器學習的同學從 15:00 開始看起即可)影片 ・ Hung-yi Lee ・ 34 分鐘
• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分（在新分頁開啟原站）
• 【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊影片 ・ Hung-yi Lee ・ 35 分鐘
• Developing an LLM: Building, Training, Finetuning影片 ・ Sebastian Raschka ・ 59 分鐘（在新分頁開啟原站）
• AI 原生思维——像训练大模型一样训练自己文章 ・ 寶玉
• Let's reproduce GPT-2 (124M)影片 ・ Andrej Karpathy ・ 4 小時 1 分（在新分頁開啟原站）