What Makes Open Models Fast in Production — Sujee Maniyam, Nebius

摘要

由 Nebius 的 Dylan Bristot 與 Sujee Maniyam 共同分享，探討開放模型如何與專有模型競爭，以及如何在生產環境中透過最佳化技術提升推理速度與降低成本。內容涵蓋從模型選擇、服務引擎匹配到量化與快取策略的工程實作細節。

This talk explains how to deploy open models in production by optimizing inference speed, managing costs, and reducing vendor lock-in through engineering techniques.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• NVIDIA hardware
• NVFP4
• LoRA

適合誰看

負責部署大語言模型、最佳化推理效能或管理 AI 基礎設施的工程師與架構師。

摘要依據

講者

Sujee Maniyam

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.83

新鮮

0.98

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stanford MS&E435 Economics of the AI Supercycle | Spring 2026 | Applications, Applied AI影片 ・ Stanford Online ・ 49 分鐘
• Teaching Everyone to Fish for Tokens文章 ・ Nathan Lambert（部落格）
• The Inference Engineering Masterclass — Philip Kiely & Ali Taha, BasetenPodcast ・ Latent Space ・ 1 小時 41 分
• Inside Nemotron & NVIDIA’s AI Lab | Bryan CatanzaroPodcast ・ The MAD Podcast ・ 1 小時 23 分
• What Is an Inference Engine, Anyway? — Charles Frye, Modal影片 ・ AI Engineer
• Stanford CS336 Language Modeling from Scratch | Spring 2026 | Guest Lecture: Dan Fu影片 ・ Stanford Online ・ 1 小時 12 分