【生成式人工智慧與機器學習導論2025】第 6 講：一堂課搞懂訓練類神經網路的各種訣竅

摘要

李宏毅教授詳細介紹訓練類神經網路的各種技巧，涵蓋最佳化方法（如 AdamW）與架構設計（如預訓練）。課程教導如何區分最佳化與泛化問題，並提供具體的技術選擇策略。

This lecture explains various techniques for training neural networks, distinguishing between optimization and generalization methods.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 區分最佳化技巧與泛化技巧，針對不同問題選擇方法。
• 學習 AdamW 等最佳化器，提升訓練效率與泛化能力。
• 掌握網路架構設計原則，避免過擬合並找到最佳函式範圍。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00驗證步驟與學習率調整技巧
2. 26:31香蕉函式與區域性最優陷阱
3. 48:41Dropout 與訓練難度增加
4. 52:05初始位置與最佳化器效果
5. 59:43預設任務與模型初始化
6. 1:03:26函式範圍大小與感受野
7. 1:23:00網路結構與梯度傳播
8. 1:25:35蝴蝶效應與梯度爆炸的難點
9. 1:29:00Skip Connection 如何改變函式搜尋
10. 1:32:37正規化最佳化訓練過程的方法
11. 1:43:58分類問題中的 Cross-Entropy Loss
12. 1:46:19Overfitting 現象與代表性資料的重要性
13. 1:51:24Data Augmentation 的時機與限制
14. 1:59:54無標註資料的 Loss 定義策略

提到的工具與公司

• AdamW
• L2 Regularization
• Bert
• CNN
• Colab

適合誰看

正在學習機器學習、準備訓練神經網路或研究深度學習原理的學生與工程師。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.54

新鮮

0.28

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式人工智慧與機器學習導論2025】第１講：一堂課搞懂生成式人工智慧的原理影片 ・ Hung-yi Lee ・ 1 小時 45 分（在新分頁開啟原站）
• 【生成式人工智慧與機器學習導論2025】第 5 講：一堂課搞懂機器學習與深度學習的基本原理 (案例：老師什麼時候要下課)影片 ・ Hung-yi Lee ・ 2 小時 24 分
• MIT 6.S191: Secrets of Massively Parallel Training影片 ・ Alexander Amini ・ 53 分鐘（在新分頁開啟原站）
• Machine Learning Foundations/Techniques: Deep Learning Initialization / Optimization影片 ・ Hsuan-Tien Lin ・ 1 小時 54 分（在新分頁開啟原站）
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 7: Neural Networks 1 (Architecture)影片 ・ Stanford Online ・ 1 小時 20 分（在新分頁開啟原站）
• MIT Introduction to Deep Learning (2024) | 6.S191影片 ・ Alexander Amini ・ 1 小時 10 分（在新分頁開啟原站）