Stanford CS25: Transformers United V6 I Serving Transformers: Lessons from the Trenches

摘要

Charles Frye 分享在生產環境部署 Transformer 模型的實戰經驗，涵蓋從應用架構到硬體選型的完整流程。內容包含如何最佳化推理效能、選擇適合的 GPU 硬體以及使用工具進行效能分析與除錯，幫助工程師解決大規模推理挑戰。

Charles Frye shares practical lessons on deploying Transformer models at scale, covering application archetypes, hardware selection, and performance optimization techniques.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 區分 Chatbot、背景代理與資料處理三種應用架構。
• 解釋記憶體頻寬限制如何影響 GPU 推理效能。
• 介紹 Nsight 與 py-spy 等工具進行效能分析與除錯。

章節

依話題轉折切分，標題由 AI 產生

1. 00:05Charles 背景介紹與課程主題說明
2. 08:08LLM 應用架構分類與工程限制
3. 13:20流量預測難點與副本服務策略
4. 23:16效率與能力邊界下的模型選擇
5. 29:50背景代理的多代理系統與工具呼叫
6. 32:21推理引擎架構與效能最佳化現狀
7. 35:08主流開源推理引擎技術對比分析
8. 39:09利用索引程式碼庫即時查詢 SGLang 架構
9. 56:56硬體生態競爭格局與雲端部署挑戰
10. 1:02:51推論系統故障分類與應用層除錯難點
11. 1:06:21關鍵效能指標定義與分散式延遲分析
12. 1:12:59推論最佳化策略：猜測解碼與量化加速
13. 1:15:37記憶體與運算瓶頸突破與 CPU 解除安裝技巧
14. 1:21:05建構代理系統監控與客製化引擎策略

提到的工具與公司

• NVIDIA
• H100
• SGLang

適合誰看

負責部署或最佳化大規模 AI 模型推理系統的工程師。

摘要依據

依據

人工字幕

為什麼排在這裡

人氣

0.52

新鮮

0.63

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford CS336 Language Modeling from Scratch | Spring 2026 | Guest Lecture: Dan Fu影片 ・ Stanford Online ・ 1 小時 12 分
• Scaling Agentic Inference Across Heterogeneous Compute with Zain Asgar - #757Podcast ・ The TWIML AI Podcast ・ 49 分鐘
• What Makes Open Models Fast in Production — Sujee Maniyam, Nebius影片 ・ AI Engineer（在新分頁開啟原站）
• Local AI 201: Inference Engines, Hardware Stack影片 ・ Hugging Face ・ 53 分鐘（在新分頁開啟原站）
• The Biggest Chip Ever Built — Why OpenAI Runs On It | Cerebras CEO Andrew FeldmanPodcast ・ The MAD Podcast ・ 1 小時 13 分
• The Five-Layer Cake Approach to Scaling AI Without Wasting MoneyPodcast ・ Agentic Conversations（原 MLOps.community） ・ 39 分鐘