看影片（在新分頁開啟原站）連到 YouTube・AI Engineer
摘要
由 Amazon AGI 的 Tarun Sunkaraneni 分享，展示如何最佳化多式態模型訓練資料管道，將 GPU 利用率從 15% 提升至 90%。透過並行處理、預取機制與 Ray 物件儲存消除資料傳輸瓶頸，讓 GPU 持續運轉。
A talk demonstrating how to optimize a multimodal training pipeline to maximize GPU utilization by fixing data bottlenecks with concurrency and zero-copy techniques.
摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。
重點
- 多式態訓練常受資料載入與傳輸限制，而非 GPU 運算。
- 利用並行、預取與零複製技術將等待時間比從 85% 降至 20%。
- 大規模擴展時需分散工作節點並啟用零複製以突破網路瓶頸。
章節
依話題轉折切分，標題由 AI 產生
- 00:00Intro
- 00:45Is training really GPU-bound?
- 01:10Four bottlenecks
- 01:50Why multimodal is CPU-heavy
- 02:45The wait-time ratio
- 03:35Our stack
- 04:10The data
- 04:35System layout
- 05:15Baseline: 15% utilization
- 06:20Fix 1: concurrency
- 07:05Async, threads or processes?
- 08:10Asyncio plus Ray actors
- 09:15Fix 2: prefetching
- 10:40Fix 3: zero-copy with Ray's object store
- 12:20Recap: 85% to 20% wait time
- 12:55Scaling up: a new bottleneck
- 13:25The network card bottleneck
- 14:35Spread scheduling and zero copy
- 15:35Lessons
提到的工具與公司
- Ray
- S3
- Megatron
- JSONL
- Hugging Face
適合誰看
負責機器學習訓練管道最佳化或大規模模型開發的工程師。
摘要依據
- 依據
- 自動字幕
為什麼排在這裡
- 人氣
- 0.86
- 新鮮
- 1.00
在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算
相關內容
- How to Train Really Large Models on Many GPUs?文章 ・ Lilian Weng（部落格） ・
- Data pipeline at Petabyte scale: Production Video Curation with Ray on CoreWeave影片 ・ CoreWeave ・
- Boosting multimodal inference performance by >10% with a single Python dictionary文章 ・ Modal Blog ・
- GPU 利用率正在“失灵”：AI 基础设施需要重新定义效率文章 ・ Jimmy Song（宋净超）博客 ・
- S3 to GPU at 60Gbps: Why Parquet is Bottlenecking Your Data影片 ・ InfoQ ・
- How we achieved truly serverless GPUs文章 ・ Modal Blog ・
這個來源最近的內容
摘要由 AI 根據原文產生，可能有誤；完整內容請看原站。看影片（在新分頁開啟原站）