【生成式AI時代下的機器學習(2025)】助教課：利用多張GPU訓練大型語言模型—從零開始介紹DeepSpeed、Liger Kernel、Flash Attention及Quantization

摘要

由助教王秀軒講解如何利用多張 GPU 訓練大型語言模型，從零開始介紹 DeepSpeed、Flash Attention、Liger Kernel 及量化技術。內容涵蓋模型大小計算、記憶體最佳化策略與實際演算法原理，幫助讀者掌握大模型訓練所需的關鍵工具與架構。

This video explains how to train large language models using multiple GPUs, covering DeepSpeed, Flash Attention, Liger Kernel, and quantization techniques.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• DeepSpeed 利用 Zero 演算法與 CPU 離線最佳化多 GPU 訓練效率。
• Flash Attention 與 Liger Kernel 解決長上下文與計算加速問題。
• 量化技術可大幅減少記憶體佔用，使小硬體也能執行大模型。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00存取投影片、slido問問題
2. 02:20overview
3. 04:38introduction
4. 20:20DeepSpeed
5. 36:10flash attention
6. 41:15liger kernel
7. 44:36quantization
8. 47:05take away & recommended reading
9. 48:45Q&A

提到的工具與公司

• DeepSpeed
• PyTorch
• V100
• H100
• NVIDIA

適合誰看

正在學習機器學習、準備訓練大語言模型或研究 GPU 資源利用的學生與工程師。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.50

新鮮

0.12

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• How to Train Really Large Models on Many GPUs?文章 ・ Lilian Weng（部落格）
• 加快語言模型生成速度 (1/2)：Flash Attention影片 ・ Hung-yi Lee ・ 50 分鐘（在新分頁開啟原站）
• MIT 6.S191 (2025): Large Language Models (Google)影片 ・ Alexander Amini ・ 56 分鐘（在新分頁開啟原站）
• Reiner Pope – The math behind how LLMs are trained and servedPodcast ・ Dwarkesh Podcast ・ 2 小時 14 分
• Deep Dive into LLMs like ChatGPT影片 ・ Andrej Karpathy ・ 3 小時 31 分（在新分頁開啟原站）
• 【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型影片 ・ Hung-yi Lee ・ 2 小時 5 分