【生成式AI時代下的機器學習(2025)】第三講：AI 的腦科學 — 語言模型內部運作機制剖析 (解析單一神經元到整群神經元的運作機制、如何讓語言模型說出自己的內心世界)

摘要

深入剖析大型語言模型內部運作機制，透過腦科學視角解析單一神經元到整層神經元的功能。觀眾可學習如何使用稀疏自編碼器分析功能向量，並透過後補技術（backpatching）讓模型修正推理錯誤，提升多步推理能力。

This course analyzes the internal mechanisms of large language models using neuroscience concepts, demonstrating how to extract functional vectors and improve reasoning via backpatching.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 解析單一神經元與整層神經元的運作機制
• 利用稀疏自編碼器找出特定任務的功能向量
• 透過後補技術修正模型推理錯誤並提升正確率

章節

依話題轉折切分，標題由 AI 產生

1. 00:00大型語言模型內部運作機制剖析
2. 11:19神經元啟動觀察與 GPT-4.5 解讀
3. 40:35功能向量工程與首都預測機制
4. 1:03:47知識抽取與數學運算的內部機制
5. 1:16:19透過 Pruning 簡化模型以釐清任務
6. 1:22:01剖析殘差連結如何讓深度網路更好訓練
7. 1:24:46解析殘差串鏈如同生產線逐層疊加資訊
8. 1:32:50逆向視角將多層感知機視為注意力機制
9. 1:36:20透過遠古論文驗證向量對應特定概念
10. 1:39:20指出邏輯鏡片法無法完整解析詞彙含義
11. 1:42:17利用層級解析追蹤多步推理的思維路徑
12. 1:49:07介紹後補法模擬推理不足時的重新解析

提到的工具與公司

• SAE
• Cloud 3 Sonic
• PatchScope

適合誰看

具備機器學習基礎，希望深入理解大型語言模型內部原理的開發者或研究者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.59

新鮮

0.11

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型影片 ・ Hung-yi Lee ・ 2 小時 5 分
• On the Biology of a Large Language Model (Part 1)影片 ・ Yannic Kilcher ・ 54 分鐘（在新分頁開啟原站）
• 【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)影片 ・ Hung-yi Lee ・ 38 分鐘
• The AI Language We Can't Read: Neuralese ft. Rob Miles - Computerphile影片 ・ Computerphile ・ 27 分鐘（在新分頁開啟原站）
• 【生活中的未來語言 數學、Python、AI】15. 打造自己的對話機器人影片 ・ Iveai - I've AI ・ 2 小時 59 分（在新分頁開啟原站）
• On the Biology of a Large Language Model (Part 2)影片 ・ Yannic Kilcher ・ 56 分鐘（在新分頁開啟原站）