【生成式AI導論 2024】第6講：大型語言模型修練史 — 第一階段: 自我學習，累積實力 (熟悉機器學習的同學從 15:00 開始看起即可)

摘要

回顧大型語言模型訓練的第一階段，說明機器透過自我學習從網路資料累積語言與世界知識。觀眾能了解訓練原理、過擬合問題及早期模型如 GPT-3 的侷限。

This talk reviews the first stage of large language model training, explaining self-supervised learning and the limitations of early models like GPT-3.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 語言模型訓練分為三個階段，第一階段為機器自我學習。
• 模型需大量資料才能學會文法與世界知識，否則會過擬合。
• 早期模型如 GPT-3 雖有知識但無法主動回答問題，需人類指導。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00課程開場：大型語言模型修煉史背景
2. 03:39機器學習核心：訓練與推論的定義
3. 07:23最佳化挑戰：調參數與訓練測試落差
4. 10:52機器學習本質：僅符合訓練資料限制
5. 14:39第一階段目標：透過文字量累積世界知識
6. 18:32自督導學習：網爬資料與人工品質控制
7. 23:33GPT 發展史：早期模型參數與訓練資料量
8. 29:03嘗試除錯 GPT-3 並學習 Prompt 技巧
9. 32:19探討早期語言模型參數不足與控制力問題

提到的工具與公司

• Gopher
• DAVINCI 002
• GPT-3
• PaLM

適合誰看

對機器學習原理或大型語言模型背景有興趣的初學者或進階學習者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.54

新鮮

0.03

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式AI導論 2024】第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)影片 ・ Hung-yi Lee ・ 38 分鐘
• 【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具影片 ・ Hung-yi Lee ・ 47 分鐘
• AI 原生思维——像训练大模型一样训练自己文章 ・ 寶玉
• How are large language models trained?影片 ・ Google for Developers ・ 10 分鐘（在新分頁開啟原站）
• Developing an LLM: Building, Training, Finetuning影片 ・ Sebastian Raschka ・ 59 分鐘（在新分頁開啟原站）
• Deep Dive into LLMs like ChatGPT影片 ・ Andrej Karpathy ・ 3 小時 31 分（在新分頁開啟原站）