#150 AI蛋糕的第二层｜芯片、存储和连接的底层逻辑

摘要

深入解析 AI 算力架構中晶片與系統層，涵蓋 GPU 演進、CUDA 生態、HBM 高頻寬記憶體及光通訊技術。觀眾能理解從單卡效能競爭轉向系統級效率競爭的邏輯，並掌握解決資料傳輸瓶頸的關鍵技術方向。

This podcast explores the second layer of AI's five-layer cake, covering GPU evolution, HBM, and interconnect technologies like CPO that drive AI infrastructure efficiency.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 輝達透過 CUDA 生態與 NVLink 建立算力護城河。
• HBM 與先進封裝技術解決記憶體牆與效能問題。
• 光通訊與 CPO 技術成為解決大規模叢集傳輸瓶頸的關鍵。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00輝達從賣卡轉向 AI 工廠生態
2. 07:49巨頭自建專用晶片的風險與挑戰
3. 11:55HBM 如何突破記憶體牆限制
4. 17:22中國封測企業以包裝技術補鏈
5. 19:29多 GPU 叢集協作面臨的資料瓶頸
6. 22:57機架級計算推動光互連技術革新
7. 28:49光互連模糊存算傳邊界重塑架構
8. 30:51AI 時代傳輸介質引發封裝架構重構
9. 32:53系統整合能力勝過單點技術突破

提到的工具與公司

• CUDA
• NVLink
• NVSwitch
• CPO
• SerDes

適合誰看

從事半導體、AI 基礎設施、系統架構或相關硬體開發的專業人士。

摘要依據

依據

語音轉文字

為什麼排在這裡

人氣

0.35

新鮮

0.91

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras影片 ・ 硅谷101 ・ 44 分鐘
• #149 AI蛋糕的最底层｜重塑电力基础设施Podcast ・ 科技慢半拍 ・ 55 分鐘
• 英伟达的护城河究竟是什么？影片 ・ 程序员老王
• The Five-Layer Cake Approach to Scaling AI Without Wasting MoneyPodcast ・ Agentic Conversations（原 MLOps.community） ・ 39 分鐘
• AI内存的技术混战 | 伯恩斯坦研究报告 | AI内存 | HBM | CXL | DRAM | NAND | KV缓存 | 存储器产业 | AI算力底层硬件 | 存储级内存 | 人工智能推理影片 ・ Best Partners TV ・ 20 分鐘
• Inside Rubin: NVIDIA's most powerful AI chip影片 ・ Vizuara