148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

摘要

遊凱超分享了他如何將伯克利的 vLLM 從演算法論文轉化為商業公司，並探討了 AI Infra 與模型結構的聯合設計。他強調在開源社群與商業化之間需要平衡，並指出 AI 工具能處理大部分工作，但關鍵的頂層設計仍需人類參與。

You Kai Chao discusses transforming the Berkeley vLLM open-source project into a commercial company, exploring the balance between open-source spirit and business operations. He emphasizes that AI tools handle most tasks, but critical top-level design requires human input. Open-source communities' f…

重點

• 遊凱超從伯克利的 vLLM 開源專案轉型為商業公司，面臨開源精神與商業運營的平衡挑戰。
• AI Infra 與模型結構的聯合設計需要多方參與，而非單純依賴 AI 工具。
• 開源社群的成功依賴於持續的團隊維護與對未來技術的預判。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00從演算法論文到商業化：Infra 的轉型抉擇
2. 03:05從初高中到博士：從理科生到系統工程者的路徑
3. 07:37特獎現象與學術界價值觀的轉變
4. 27:45從演算法研究轉向通用工具開發
5. 32:35伯克利傳統與開源軟體的歷史淵源
6. 45:08VLM 的興起：大模型推理的關鍵底座
7. 49:42從主動加入到主導維護：開源專案的情感與取捨
8. 1:57:54位置編碼與 Flash Attention 的技術博弈
9. 2:02:46DeepSpark 的投機解碼：提升推理效率的新方法
10. 2:07:09Infra 團隊的資源限制與設計哲學
11. 2:20:39MoE 架構的推理挑戰與工程化難題
12. 2:29:58高效計算晶片的最佳化策略與模型結構
13. 2:32:37從資料收集到技術選型：效能最佳化的關鍵
14. 2:54:03技術護城河：快速迭代的競爭優勢

提到的工具與公司

• vLLM
• DeepSeek

適合誰看

對 AI Infra 技術感興趣、希望了解開源專案商業化轉型經驗的技術從業人員。

摘要依據

講者

张小珺

依據

語音轉文字

為什麼排在這裡

人氣

0.33

新鮮

0.78

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”影片 ・ Zhang Xiaojun Podcast ・ 2 小時 7 分（在新分頁開啟原站）
• You Kaichao: vLLM, Open-Source Infra, Model Co-Design & Journey from Community to Startup影片 ・ Zhang Xiaojun Podcast ・ 2 小時 59 分（在新分頁開啟原站）
• Inside vLLM: The Engine Powering Open-Source AIPodcast ・ AI + a16z ・ 47 分鐘
• 5 open source tools that replaced my $320/mo AI stack...影片 ・ Fireship ・ 5 分鐘（在新分頁開啟原站）
• What I learned from looking at 900 most popular open source AI tools文章 ・ Chip Huyen（部落格）
• EP 54. 深度对谈顶尖AI开源项目：大模型开源生态, Agent 与中国力量Podcast ・ OnBoard! ・ 3 小時 19 分（在新分頁開啟原站）