Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models

摘要

深入解析大型語言模型與 Transformer 架構，涵蓋分詞、嵌入、注意力機制及 BERT 等變體。學員將學習預訓練與微調流程，並掌握位置嵌入與上下文學習等關鍵技術。

This lecture explains large language models, Transformer architecture, BERT variants, and training techniques like pre-training and fine-tuning.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 詳解 Transformer 架構與 BERT 等變體原理
• 說明預訓練與微調大型語言模型的步驟
• 探討位置嵌入與上下文學習等最佳化技術

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Welcome
2. 03:43Difference with last year’s edition
3. 05:01Class logistics
4. 12:42Timeline
5. 16:56Tokenization
6. 37:27Word2vec (CBOW, Skip-gram)
7. 48:26RNN, LSTM
8. 55:18Attention
9. 57:16Self-attention mechanism
10. 59:54Query, key, value
11. 1:09:35Transformer architecture
12. 1:12:19Input
13. 1:16:27Transformer Encoder
14. 1:18:19Transformer Decoder
15. 1:22:16Computational tricks
16. 1:27:35End-to-end example

提到的工具與公司

• BERT
• Word2vec
• RNN
• LSTM

適合誰看

正在學習機器學習或開發大型語言模型應用的人員。

摘要依據

依據

自動字幕

為什麼排在這裡

人氣

0.93

新鮮

1.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers影片 ・ Stanford Online ・ 1 小時 44 分 ・ 12 天前
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 14: Transformers, In-Context Learning影片 ・ Stanford Online ・ 1 小時 18 分 ・ 2026/08/01
• MIT 6.S191 (2025): Large Language Models (Google)影片 ・ Alexander Amini ・ 56 分鐘 ・ 2025/04/14
• 【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型影片 ・ Hung-yi Lee ・ 2 小時 5 分 ・ 2025/09/29
• LLM Lecture: A Deep Dive into Transformers, Prompts, and Human Feedback影片 ・ AI Coffee Break with Letitia ・ 1 小時 31 分 ・ 2025/01/19
• LLM Building Blocks & Transformer Alternatives影片 ・ Sebastian Raschka ・ 27 分鐘 ・ 2025/10/27

這個來源最近的內容

• Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Trajectory Optimization昨天 ・ 影片 ・ 1 小時 15 分
• Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Trajectory Tracking昨天 ・ 影片 ・ 1 小時 18 分
• Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Overview, Mobile Robot Kinematics昨天 ・ 影片 ・ 1 小時 15 分

Stanford Online 的所有內容