【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型

摘要

深入剖析大型語言模型內部運作原理，從 Token 化到 Embedding 表，再到 Attention 機制與層級結構。透過實際解剖已訓練好的模型，讓讀者理解模型如何將輸入句子轉化為下一個 Token 的機率分佈，並透過實作範例觀察不同模型的注意力分配模式。

This lecture dissects the internal workings of large language models, explaining tokenization, embeddings, and attention mechanisms with practical demonstrations.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 詳細解說語言模型從輸入到輸出的內部運作流程
• 剖析 Embedding 表與 Attention 機制的具體原理
• 透過實作範例觀察不同模型的注意力分配行為

章節

依話題轉折切分，標題由 AI 產生

1. 00:00剖析語言模型內部運作機制
2. 03:19假設中文字為 Token 進入 Embedding
3. 10:57探討多層神經網路之優勢與原理
4. 14:58解釋 Logit 轉機率之 Softmax 過程
5. 18:50說明溫度參數如何影響創意模式
6. 44:37介紹 Logit Lens 解讀中間層意涵
7. 54:23解析 Transformer 架構中 Attention 層
8. 58:02計算「果」字時如何識別上下文影響
9. 1:03:23引入位置嵌入處理序列順序資訊
10. 1:05:54計算自注意力與數值大小代表影響
11. 1:15:18解析雙層前饋神經元的運算機制
12. 1:20:13探討神經元矩陣運算與 AI 起源
13. 1:39:21觀察 Token 嵌入如何對映同義詞
14. 1:52:47檢視隱藏表示與 LM Head 輸出預測

提到的工具與公司

• Llama
• Gemma
• RoPE
• Colab

適合誰看

正在學習機器學習原理或希望深入理解大型語言模型內部結構的開發者與研究者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.63

新鮮

0.24

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)影片 ・ Hung-yi Lee ・ 38 分鐘
• A Visual Guide to Attention Mechanisms in LLMs - Luis Serrano, Data Hack 2025 with @Analyticsvidhya影片 ・ Luis Serrano Academy ・ 52 分鐘（在新分頁開啟原站）
• Transformers, the tech behind LLMs | Deep Learning Chapter 5影片 ・ 3Blue1Brown ・ 27 分鐘（在新分頁開啟原站）
• MIT 6.S191 (2025): Large Language Models (Google)影片 ・ Alexander Amini ・ 56 分鐘（在新分頁開啟原站）
• Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers影片 ・ Stanford Online ・ 1 小時 44 分（在新分頁開啟原站）
• 【生成式AI時代下的機器學習(2025)】第三講：AI 的腦科學 — 語言模型內部運作機制剖析 (解析單一神經元到整群神經元的運作機制、如何讓語言模型說出自己的內心世界)影片 ・ Hung-yi Lee ・ 1 小時 50 分