Ep 74: Chief Scientist of Together.AI Tri Dao On The End of Nvidia's Dominance, Why Inference Costs Fell & The Next 10X in Speed

摘要

Tri Dao 訪談了 Together.AI 首席科學家，探討推論成本下降、Nvidia 主導權的未來以及硬體軟體協同設計。內容涵蓋 Mamba 模型、專家混合架構等技術細節，並分享 AI 工具如何提升個人生產力。

Tri Dao discusses inference cost reductions, the future of AI hardware dominance, and architectural innovations like Mamba and MoE.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 推論成本透過記憶體最佳化與硬體協同設計已下降百倍。
• 未來 2-3 年 AI 硬體將從 Nvidia 主導轉向多元化生態。
• 專家混合架構與狀態空間模型是降低成本與提升效率的關鍵。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Tri Dao 談 NVIDIA 壟斷與推理成本下降
2. 07:26晶片設計者如何下注未來最佳化方向
3. 09:26跨廠商合作與 Mojo 等新演算法語
4. 18:21AI 生成程式碼的訓練資料挑戰
5. 20:56Claude Code 提升開發效率與代理工作
6. 23:46推理最佳化技術與硬體發展潛力
7. 33:59低延遲與高吞吐量工作負載差異
8. 36:32大規模批次推理與叢集動態最佳化
9. 39:22代理工作載體將成未來關鍵應用
10. 43:11通往專家級 AI 的架構與成本挑戰
11. 47:55混合架構設計與世界互動資料缺口
12. 51:34學術探索與產業執行雙軌並行
13. 55:42長期投資回報與開放原始碼模型趨勢
14. 58:03主持人結語與感謝 Tri Dao 分享

提到的工具與公司

• Mamba
• DeepSeek
• OpenAI
• Together.AI
• Nvidia

適合誰看

AI 硬體工程師、系統架構師、機器學習研究者或關注 AI 產業趨勢的從業者。

摘要依據

講者

Jacob Effron

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.22

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Neil Movva - Making AI 10x Cheaper - [Invest Like the Best, EP.488]Podcast ・ Invest Like the Best ・ 1 小時 18 分
• Why Hardware-Software Co-Design Is AI's Real 100x: Dylan Patel of SemiAnalysis影片 ・ Sequoia Capital ・ 1 小時 10 分
• NVIDIA: OpenAI, Future of Compute, and the American Dream | BG2 w/ Bill Gurley and Brad GerstnerPodcast ・ BG2Pod ・ 1 小時 44 分
• #494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI RevolutionPodcast ・ Lex Fridman Podcast
• Etched - Building AI Hardware to Make Inference Faster and Cheaper - [Invest Like the Best, EP.480]Podcast ・ Invest Like the Best ・ 1 小時 27 分
• The Biggest Chip Ever Built — Why OpenAI Runs On It | Cerebras CEO Andrew FeldmanPodcast ・ The MAD Podcast ・ 1 小時 13 分