Stanford CS229 Machine Learning | Spring 2026 | Lecture 12: Representation Learning

摘要

深入探討擴散模型的數學原理，包括前向與反向過程的損失函式匯出，並介紹基礎模型範式。內容涵蓋預訓練與適應階段，特別說明 LoRA 等高效微調技術如何透過共享權重來節省記憶體並支援多使用者服務。

This lecture derives the loss function for diffusion models and explains the foundation model paradigm, including pre-training and efficient fine-tuning with LoRA.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 詳細推導擴散模型的反向過程損失函式與高斯分佈比較。
• 解釋基礎模型如何透過大量無標籤資料進行通用預訓練。
• 說明 LoRA 微調技術如何節省記憶體並提升多使用者推理效率。

章節

依話題轉折切分，標題由 AI 產生

1. 00:05課程大綱：從擴散模型到基礎模型
2. 02:57擴散模型：逆向過程的參數化設定
3. 18:50實作技巧：重參數化簡化損失函式
4. 32:40訓練策略：拉長時間步以簡化區域性重建
5. 36:51基礎模型：GPT 後興起的機器學習新範式
6. 39:31基礎模型：預訓練與適應兩階段架構
7. 46:22表示學習：預訓練參數與線性探測
8. 52:552026 年跨領域統一模型趨勢
9. 55:34預訓練初始值決定全域性最優解
10. 58:07線性探針與 LP-FT 適應技術
11. 1:02:28低秩適應 LORA 原理與重參數化
12. 1:08:09LORA 前向計算瓶頸與梯度儲存
13. 1:10:39大規模並行訓練中的梯度分片
14. 1:13:36LORA 架構支援多使用者共享權重

提到的工具與公司

• CS229
• LoRA
• FSDP
• Adam
• GPT
• Gemini

適合誰看

適合具備機器學習基礎、正在學習生成式模型或想最佳化大模型微調效率的開發者與研究者。

摘要依據

依據

人工字幕

為什麼排在這裡

人氣

0.61

新鮮

0.78

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford CS229 Machine Learning | Spring 2026 | Lecture 11: Diffusion Models影片 ・ Stanford Online ・ 1 小時 23 分（在新分頁開啟原站）
• Stanford CME296 Diffusion & Large Vision Models | Spring 2026 | Lecture 8 - Trending Topics影片 ・ Stanford Online ・ 1 小時 50 分
• What are Diffusion Models?文章 ・ Lilian Weng（部落格）
• Variational Autoencoder - Model, ELBO, loss function and maths explained easily!影片 ・ Umar Jamil ・ 27 分鐘（在新分頁開啟原站）
• The Most Absurd Way To Train LLMs... With 3x Less Memory!?影片 ・ bycloud ・ 16 分鐘（在新分頁開啟原站）
• MIT 6.S191: Deep Generative Modeling影片 ・ Alexander Amini ・ 50 分鐘（在新分頁開啟原站）