Baseten CEO Tuhin Srivastava on the AI Inference Crunch, Custom Models, and Building the Inference Cloud

摘要

Baseten 執行長 Tuhin Srivastava 與 Sarah Guo、Elad Gil 探討 AI 推理市場爆發、GPU 資源匱乏與客製化模型趨勢。內容涵蓋 Baseten 如何透過多雲架構解決供不應求，以及應用層因獨特使用者訊號而成為最後市場的重要性。

Baseten CEO discusses AI inference market growth, GPU supply crunch, and the strategic value of the application layer in building custom models.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Baseten 透過跨 18 家雲商的 90 個叢集解決 GPU 資源匱乏。
• 應用層因掌握獨特使用者訊號，能透過後訓練建立護城河。
• 推理成本下降反而刺激更多智慧工作流與代理應用。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Base Ten 成長三倍與市場規模展望
2. 09:07中國模型安全性與地緣政治影響
3. 12:40客製化模型佔比與客戶支援策略
4. 18:16AI 運算短缺與雲端供應商挑戰
5. 23:34推理市場護城河與客戶留存率
6. 26:10未來多晶片架構與 NVIDIA 供應鏈
7. 28:45推理雲端軟體層與生態系整合
8. 31:04大規模運算觸發底層系統崩潰
9. 34:48信任團隊與明確最佳化目標
10. 38:27降低推理成本反而增加用量
11. 42:01軟體公司需整合智慧提升價值

提到的工具與公司

• Baseten
• Mistral
• Llama
• GPT OSS
• Moonshot
• DeepSeek
• Canopy
• Orpheus

適合誰看

正在評估 AI 基礎設施、關注推理市場趨勢或開發客製化 AI 工作流的技術決策者與工程師。

摘要依據

講者

Sarah Guo、Elad Gil

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.55

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• The CEO Behind the Fastest-Growing AI Inference Company | Tuhin SrivastavaPodcast ・ Gradient Dissent ・ 59 分鐘（在新分頁開啟原站）
• Etched - Building AI Hardware to Make Inference Faster and Cheaper - [Invest Like the Best, EP.480]Podcast ・ Invest Like the Best ・ 1 小時 27 分（在新分頁開啟原站）
• The Biggest Chip Ever Built — Why OpenAI Runs On It | Cerebras CEO Andrew FeldmanPodcast ・ The MAD Podcast ・ 1 小時 13 分
• GTC 2026：AI的下一个战场不是模型，而是「推理系统」| S10E04Podcast ・ What's Next｜科技早知道 ・ 59 分鐘（在新分頁開啟原站）
• GPU Clouds, Aggregators, and the New Economics of AI ComputePodcast ・ AI Engineering Podcast ・ 46 分鐘
• The Professor of Outputmaxxing — Anjney Midha, AMPPodcast ・ Latent Space ・ 59 分鐘