AI 武林：SGLang

What Is an Inference Engine, Anyway? — Charles Frye, Modal

AI Engineer — Tue, 06 Oct 2026 00:00:00 +0800

Charles Frye 解析推理引擎如何處理從 API 請求到模型輸出的完整流程，涵蓋分詞、排程與 GPU 執行等關鍵環節。影片說明不同工作負載（如聊天機器人、背景代理）對延遲與吞吐量的影響，並探討 KV 快取與推測解碼等最佳化技術。

原站：https://www.youtube.com/watch?v=woIYJYd_etI

Accelerating vision-language models with LFM2.5-VL-DSpark

Hugging Face Blog — Thu, 24 Sep 2026 00:00:00 +0800

介紹 LFM2.5-VL-DSpark 模型，透過預測機制加速視覺語言模型的推理速度。在邊緣裝置與 GPU 上分別實現超過 3 倍與 2.6 倍的解碼加速，同時僅增加約 9% 的參數。

原站：https://huggingface.co/blog/LiquidAI/lfm2-5-vl-dspark

Haters think AI agents can't write GPU code? This'll ROCm

The Stack Overflow Podcast — Tue, 22 Sep 2026 00:00:00 +0800

AMD 軟體主管 Anush Elangovan 訪談中，介紹 ROCm 如何透過開放原始碼與 AI 代理技術，大幅降低 GPU 程式設計門檻。內容涵蓋 ROCm 架構、SIMT 平行計算原理，以及 AI 如何協助最佳化硬體程式碼與效能。

原站：https://rss.art19.com/episodes/e3dd73f3-c12a-4053-b0bf-4550eb47f58a.mp3?rss_browser=BAhJIg9BSVd1bGluQm90BjoGRVQ%3D--40c69dfd25591c59cb985eaa38245c7694c51649

Large clusters for small models — Daniel Svonava, Superlinked

AI Engineer — Sun, 20 Sep 2026 00:00:00 +0800

Daniel Svonava 分享如何讓小型開源模型在生產環境中發揮 frontier 級效能，透過任務分割與專用模型組合降低成本。

原站：https://www.youtube.com/watch?v=g4SsanB0gMc

Granite 4.2 LLMs: How They're Built

Hugging Face Blog — Tue, 25 Aug 2026 00:00:00 +0800

Granite 4.2 系列是 IBM 推出的三檔（3B、8B、30B）推理型大型語言模型，透過多階段強化學習與工具呼叫訓練，具備思考/不思考模式切換能力。

原站：https://huggingface.co/blog/ibm-granite/granite-4-2

Up to 3.2x Faster Inference with LFM2.5-DSpark

Hugging Face Blog — Fri, 21 Aug 2026 00:00:00 +0800

介紹 LFM2.5-DSpark 技術，透過結合 DFlash 架構與輕量 Markov 頭部，大幅降低大模型推論延遲。文章提供在 H100 GPU 與 M4 Max 裝置上的具體效能資料，並說明如何在 SGLang 與 llama.…

原站：https://huggingface.co/blog/LiquidAI/lfm25-dspark

Qwen3.8-27B & How to Serve it Fast

Sam Witteveen — Tue, 18 Aug 2026 00:00:00 +0800

介紹 Qwen3.8-27B 模型的功能與效能，並示範如何使用 SGLang 等工具實現最高每秒 token 數的服務速度。觀眾可學習如何最佳化大型語言模型的部署與推理速度。

原站：https://www.youtube.com/watch?v=PTuGGdDuyPI

not much happened today

AINews（Latent Space／smol.ai） — Fri, 14 Aug 2026 00:00:00 +0800

彙整了 2026 年 8 月 AI 領域的最新動態，重點涵蓋 Z.ai 推出 GLM-5.3、Alibaba 發布 Qwen3.8-27B 以及 DeepSeek V4-Pro 的更新。

原站：https://news.smol.ai/issues/26-08-14-cursor-xai

E247｜对话盛颖：xAI，Infra的浪漫，SGLang，开源，平权与“甄嬛传”

硅谷101 — Wed, 05 Aug 2026 00:00:00 +0800

訪談邀請盛穎分享其從數學研究轉向 AI 基礎設施的歷程，深入探討 SGLang 如何將學術概念轉化為生產級推理引擎。內容涵蓋 xAI 的經驗、RadixArk 的創立，以及對 AI 平權與開源的觀點。

原站：https://sv101.fireside.fm/260

177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

晚点聊 LateTalk — Tue, 04 Aug 2026 00:00:00 +0800

訪談邀請 RadixArk 與華盛頓大學博士生，從架構與演算法雙線拆解 Kimi K3。內容涵蓋其混合注意力機制、推理加速原理及對投資市場的影響，並探討開源權重與閉源流水線的差異。

原站：https://podcast.latepost.com/177

“榨”出硅的极限：怎么让GPU不“闲着”？｜与SGLang、RadixArk深聊AI Infra技术与千亿美元市场

硅谷101 — Fri, 31 Jul 2026 00:00:00 +0800

探討如何透過 SGLang 與 RadixArk 的技術，最佳化 GPU 的計算、等待與資源分配，以榨出更多算力。觀眾能學習到 AI 基礎設施中提升效率的關鍵策略與架構原理。

原站：https://www.youtube.com/watch?v=cB_X6AImPjQ

Local AI 201: Inference Engines, Hardware Stack

Hugging Face — Wed, 22 Jul 2026 00:00:00 +0800

介紹本地 AI 推理引擎與硬體架構，透過實測比較不同軟體與硬體組合的效能。觀眾可學習如何選擇適合的推理工具並最佳化本地部署。

原站：https://www.youtube.com/watch?v=90k2HRT8Ito

New Model: Inkling by Thinking Machine on Hugging Face

Hugging Face — Thu, 16 Jul 2026 00:00:00 +0800

介紹 Thinking Machine 推出的 Inkling 模型，該模型擁有 10 兆參數，能原生理解圖片、文字與聲音，並具備 100 萬 token 的上下文視窗。

原站：https://www.youtube.com/watch?v=EOK_haQSMIA

Stanford CS25: Transformers United V6 I Serving Transformers: Lessons from the Trenches

Stanford Online — Fri, 05 Jun 2026 00:00:00 +0800

Charles Frye 分享在生產環境部署 Transformer 模型的實戰經驗，涵蓋從應用架構到硬體選型的完整流程。內容包含如何最佳化推理效能、選擇適合的 GPU 硬體以及使用工具進行效能分析與除錯，幫助工程師解決大規模推理挑戰。

原站：https://www.youtube.com/watch?v=ZUdIsRZhWXI

How to Engineer AI Inference Systems with Philip Kiely - #766

The TWIML AI Podcast — Fri, 01 May 2026 00:00:00 +0800

深入探討推論工程（Inference Engineering），解釋為何它是 AI 最關鍵且複雜的工作負載。內容涵蓋從研究到生產的快速週期、關鍵技術如量化與 KV Cache 重用的應用，以及業界從 API 呼叫到自建平台的演進路徑。

原站：https://twimlai.com/podcast/twimlai/how-engineer-ai-inference-systems

163: 详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

晚点聊 LateTalk — Thu, 30 Apr 2026 00:00:00 +0800

訪談由 RadixArk 工程師與 UCLA 博士生，深入解析 DeepSeek V4 技術細節。內容涵蓋放棄 MLA 架構改用混合稀疏注意力、Muon 最佳化器、mHC 及 FP4 等工程創新，探討如何讓百萬上下文從理論走向實用，並分析…

原站：https://podcast.latepost.com/163

The Race to Production-Grade Diffusion LLMs with Stefano Ermon - #764

The TWIML AI Podcast — Fri, 27 Mar 2026 00:00:00 +0800

訪談斯坦福教授 Stefano Ermon 與 Inception Labs CEO，深入探討將影像生成用的擴散模型應用於文字與程式碼生成的技術挑戰與突破。

原站：https://twimlai.com/podcast/twimlai/race-production-grade-diffusion-llms

NVIDIA's AI Engineers: Agent Inference at Planetary Scale and "Speed of Light" — Nader Khalil (Brev), Kyle Kranen (Dynamo)

Latent Space — Tue, 10 Mar 2026 00:00:00 +0800

訪談 NVIDIA 工程師 Nader Khalil 與 Kyle Kranen，探討 Brev 如何降低開發者使用高階 GPU 的門檻，以及 Dynamo 框架如何透過預填充與解碼分離技術，實現大規模推理加速與成本最佳化。

原站：https://www.latent.space/p/nvidia-brev-dynamo

The CEO Behind the Fastest-Growing AI Inference Company | Tuhin Srivastava

Gradient Dissent — Tue, 18 Nov 2025 00:00:00 +0800

Tuhin Srivastava 與 Lukas Biewald 探討 Baseten 如何從早期小模型服務轉型為大模型推理基礎設施。

原站：https://episodes.captivate.fm/episode/bb7a7e75-34e4-471e-a3b8-12dfff61e22e.mp3