Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI

摘要

OpenAI 分享將推理路由從依賴反饋迴路調整權重，改為由控制平面計算明確路由策略的架構。新系統透過全域性視角最佳化網路距離與引擎等待時間，並加入異常懲罰、動態重試預算與負載削峰機制，提升穩定性與可解釋性。

OpenAI shares how they evolved inference routing from feedback loops to an explicit control plane architecture.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 將路由權重調整改為由控制平面計算明確策略。
• 最佳化器同時考量網路距離與引擎端等待時間。
• 加入異常懲罰、動態重試預算與負載削峰機制。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00From engine signal feedback loops to explicit policy
2. 02:44What makes inference routing different
3. 03:41Early days: weighted consistent hashing
4. 04:23Weights from a proportional controller
5. 06:57Oscillation that disrupts the cache
6. 07:38Control plane, data plane, and a global view
7. 09:18Three paths: request, signal, and routing weight
8. 12:03Why not the nearest engine
9. 13:28Inside the optimizer
10. 15:38Penalties, retry budgets, and load shedding

適合誰看

負責大模型推理服務架構、負載平衡或系統穩定性的工程師。

摘要依據

講者

Qianru Lao、Lu Zhang

依據

自動字幕

為什麼排在這裡

人氣

0.68

新鮮

0.94

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Operating Distributed Inference Systems at Scale — Nishant Gupta & Naman Ahuja, Meta影片 ・ AI Engineer ・ 20 分鐘
• How OpenAI Processes Millions of User Feedback Data Points | Rise of the AI Engineer | Stuart Sy影片 ・ Arize AI ・ 4 分鐘（在新分頁開啟原站）
• The Frontier AI Inference Cloud for Agents — Byung-Gon (Gon) Chun, FriendliAI影片 ・ AI Engineer ・ 15 分鐘
• CoreWeave ARENA: Serverless inference and serverless RL影片 ・ CoreWeave ・ 6 分鐘（在新分頁開啟原站）
• Model provider | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Local AI 201: Inference Engines, Hardware Stack影片 ・ Hugging Face ・ 53 分鐘（在新分頁開啟原站）