EP145 - 記憶體如何成爲 AI 的關鍵瓶頸？| 專訪 美光 資深副總裁 Jeremy Werner 與 Mark Montierth

摘要

專訪美光資深副總裁 Jeremy Werner 與 Mark Montierth，探討 AI 發展中記憶體成為關鍵瓶頸的原因。訪談指出，隨著推理成為主要工作負荷，記憶體容量與速度成為限制因素，特別是在 Agent AI 應用中。美光強調透過先進製程微縮、HBM 與 GPU 的 Co-design 設計，以及 AI 輔助的產能最佳化，來提升能源效率與產能。此外，訪談也展望了邊緣 AI 的潛力，認為本地化計算將取代部分雲端運算，並預測企業將重新設計工作流以整合人機協作。

This interview features senior vice presidents Jeremy Werner and Mark Montierth of Micron, discussing why memory has become a critical bottleneck for AI. The discussion highlights that as inference becomes the dominant workload, memory capacity and speed limit system performance, especially for AI.

重點

• AI 推理成為主要工作負荷後，記憶體容量與速度成為系統效能的主要限制因素。
• 美光透過先進製程微縮與 AI 輔助的產能最佳化，提升能源效率與產能。
• HBM 與 GPU 需進行 Co-design 設計，以最佳化功耗與散熱效能。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00美光資深副總裁 Jeremy Werner 與 Mark Montierth 訪
2. 02:32AI 基礎設施演變：從訓練到推論，記憶體成為關鍵瓶頸
3. 13:06邊緣裝置與個人運算：架構最佳化與資料移動最小化
4. 15:31安全與隱私新標準：AI 時代裝置製程的準備工作
5. 17:49低延遲實戰需求：即時決策與遊戲體驗的挑戰
6. 20:22記憶體與 SSD 創新：多端適配與效能提升
7. 25:30複雜系統設計：控制器與韌體的創新應用
8. 28:00供應鏈挑戰：技術突破與供應鏈問題的平衡
9. 31:48未來工作模式：AI Agent 協作與流程重構
10. 36:05AI Agent 需求激增：向量資料庫與圖神經網路的應用
11. 40:12AI 基礎設施新視角：記憶體取代 GPU 成為核心焦點

提到的工具與公司

• HBM
• Fab
• Semiconductor

適合誰看

對 AI 架構、記憶體技術或半導體產業感興趣的技術愛好者與專業人士。

摘要依據

依據

語音轉文字

為什麼排在這裡

人氣

0.30

新鮮

0.70

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Dylan Patel — Deep dive on the 3 big bottlenecks to scaling AI computePodcast ・ Dwarkesh Podcast ・ 2 小時 31 分（在新分頁開啟原站）
• 所以，為什麼 AI 會讓記憶體貴成這樣？影片 ・ 科技浪 ・ 2 分鐘（在新分頁開啟原站）
• AI内存的技术混战 | 伯恩斯坦研究报告 | AI内存 | HBM | CXL | DRAM | NAND | KV缓存 | 存储器产业 | AI算力底层硬件 | 存储级内存 | 人工智能推理影片 ・ Best Partners TV ・ 20 分鐘（在新分頁開啟原站）
• The End of GPU Scaling? Compute & The Agent Era — Tim Dettmers (Ai2) & Dan Fu (Together AI)Podcast ・ The MAD Podcast ・ 1 小時 4 分（在新分頁開啟原站）
• The Biggest Chip Ever Built — Why OpenAI Runs On It | Cerebras CEO Andrew FeldmanPodcast ・ The MAD Podcast ・ 1 小時 13 分（在新分頁開啟原站）
• #494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI RevolutionPodcast ・ Lex Fridman Podcast（在新分頁開啟原站）