Operating Distributed Inference Systems at Scale — Nishant Gupta & Naman Ahuja, Meta

摘要

Meta 工程師分享大規模推理系統的運營挑戰，指出推理流量已超越傳統微服務，需透過路由、快取、批處理與排程進行端到端管理。文章強調以「成功任務成本」為核心指標，並提出避免、共享、移動、延遲四種最佳化策略，以及建立專屬推理控制平面的重要性。

Meta engineers discuss scaling inference systems, emphasizing workload-aware orchestration, cost-per-successful-task metrics, and the need for a dedicated inference control plane.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Meta 推理流量已超越最大微服務，需工作負載感知的排程與准入控制。
• 最佳化目標應為成功任務成本，涵蓋重試、失敗與運維等全鏈路成本。
• 推理系統需建立專屬控制平面，整合路由、快取與批處理等複雜決策。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Inference is the fastest growing workload Meta has seen
2. 00:542008 again: value moves to the orchestration layer
3. 03:13Microservices versus inference, dimension by dimension
4. 06:09Old layers, new coupling
5. 07:36A request is a distributed transaction
6. 08:31Seven axes a scheduler has to see
7. 10:19Avoid, share, move, or delay the work
8. 12:36Cascading failure, with a KV cache twist
9. 16:19The latency, cost, throughput triangle
10. 17:00Inference needs its own control plane

提到的工具與公司

• VLM
• Triton

適合誰看

負責大規模 AI 基礎設施、模型服務架構或雲端運維的工程師。

摘要依據

講者

Nishant Gupta、Naman Ahuja

依據

自動字幕

為什麼排在這裡

人氣

0.68

新鮮

0.94

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI影片 ・ AI Engineer ・ 18 分鐘
• Vertical Mobility: Inference from MVP to Trillion-Parameter Workloads — Sitanshu Gupta, CoreWeave影片 ・ AI Engineer ・ 15 分鐘
• The Inference Engineering Masterclass — Philip Kiely & Ali Taha, BasetenPodcast ・ Latent Space ・ 1 小時 41 分
• The CEO Behind the Fastest-Growing AI Inference Company | Tuhin SrivastavaPodcast ・ Gradient Dissent ・ 59 分鐘
• Revisiting Test-Time Scaling: A Survey and a Diversity-Aware Method for Efficient Reasoning影片 ・ 陳縕儂 Vivian NTU MiuLab ・ 17 分鐘（在新分頁開啟原站）
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Paper)影片 ・ Yannic Kilcher ・ 53 分鐘（在新分頁開啟原站）