Stanford CS229 Machine Learning | Spring 2026 | Lecture 8: Neural Networks 2 (Backprop)

摘要

深入解析神經網路訓練的核心演算法後向傳播（Backpropagation），透過可微分電路的理論證明前向與後向計算時間同階。觀眾將學習如何利用鏈式法則高效計算損失函式對參數的梯度，並掌握處理矩陣乘法與激活函數的具體實作技巧。

This lecture explains the backpropagation algorithm for computing gradients in neural networks, proving its efficiency and covering specific implementations for matrix operations and activation functions.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 後向傳播演算法能在與前向傳播相同的時間內計算梯度。
• 利用鏈式法則與區域性資訊即可高效處理複雜神經網路。
• 矩陣權重的梯度具有秩一特性，而激活函數梯度為逐元素運算。

章節

依話題轉折切分，標題由 AI 產生

1. 00:05回顧神經網路架構與損失函式
2. 04:11介紹可微電路與前向傳播時間
3. 10:21說明參數數量與運算量成正比
4. 13:13探討二次導數的高效計算方法
5. 15:54分析海森維向量積的計算特性
6. 18:57解釋鏈式法則在反向傳播中的應用
7. 23:35強調反向傳播僅需雅可比轉置矩陣
8. 25:41後向傳播的馬可夫特性與效率
9. 33:48神經網路參數梯度的兩階段計算
10. 40:25矩陣乘法反向傳播的轉置簡化
11. 43:59生物學中的海布規則與邊權梯度
12. 51:59激活函數反向傳播的逐元素乘法
13. 55:52Sigmoid 與閘值激活函數的應用
14. 1:00:40課程總結與常見激活函數簡介

提到的工具與公司

• Stanford CS229
• PyTorch
• SGD

適合誰看

正在學習機器學習原理或準備深入研讀深度學習架構的學生與工程師。

摘要依據

依據

人工字幕

為什麼排在這裡

人氣

0.54

新鮮

0.78

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford CS229 Machine Learning | Spring 2026 | Lecture 7: Neural Networks 1 (Architecture)影片 ・ Stanford Online ・ 1 小時 20 分
• Building makemore Part 4: Becoming a Backprop Ninja影片 ・ Andrej Karpathy ・ 1 小時 55 分（在新分頁開啟原站）
• The spelled-out intro to neural networks and backpropagation: building micrograd影片 ・ Andrej Karpathy ・ 2 小時 26 分（在新分頁開啟原站）
• The F=ma of Artificial Intelligence [Backpropagation, How Models Learn Part 2]影片 ・ Welch Labs ・ 31 分鐘（在新分頁開啟原站）
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 2: Supervised Learning Setup影片 ・ Stanford Online ・ 1 小時 18 分
• 【舊影片上傳】DNN Backpropagation (2015 年上課錄影)影片 ・ Hung-yi Lee ・ 31 分鐘（在新分頁開啟原站）