Announcing Day-0 Support for NVIDIA Nemotron 3.5 Lightning on vLLM

摘要

vLLM 正式支援 NVIDIA Nemotron 3.5 Lightning 模型，提供 OpenAI 相容 API 與推測解碼功能。文章介紹了該混合專家架構模型的規格、部署方式及效能最佳化技術，幫助開發者將模型整合進生產環境。

vLLM announces day-0 support for NVIDIA Nemotron 3.5 Lightning with OpenAI-compatible APIs and speculative decoding optimizations.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• NVIDIA Nemotron 3.5 Lightning 採用 30B 混合專家架構，僅 3B 參數即時運作。
• 支援 MTP、DFlash 與 DSpark 三種推測解碼技術，大幅提升生成速度。
• 提供 BF16 與 NVFP4 權重，可在 NVIDIA 多型硬體上部署。

提到的工具與公司

• NVIDIA Nemotron 3.5 Lightning
• vLLM
• BF16
• NVFP4
• MTP
• DFlash
• DSpark
• Hugging Face

適合誰看

正在開發或部署 AI 代理系統、需要高效能推理服務的工程師與架構師。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.79

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Day 0 Support for Qwen3.8-2.4T-A95B on vLLM文章 ・ vLLM Blog
• Notes on NVIDIA Nemotron文章 ・ Deep (Learning) Focus（Cameron R. Wolfe）
• Nemotron 3 Super: NVIDIA's gpt-oss killer?文章 ・ Maxime Labonne
• Kimi K3 Is Here: Efficient Day-0 Support on vLLM文章 ・ vLLM Blog
• Local AI: Running Nemotron on DGX Spark & Station | Nemotron Labs影片 ・ NVIDIA Developer ・ 56 分鐘
• Why Nvidia builds open models with Bryan CatanzaroPodcast ・ Interconnects ・ 1 小時 8 分