Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai
Sheilah Kirui 介紹 Speculative Decoding 技術，利用小模型預測多個 token 供大模型驗證以加速推理。
4,339次觀看
※ 摘要僅根據標題與說明
最新
依發布時間
Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti
分享如何透過 OCuLink 技術，將 NVIDIA RTX 5070 Ti 外接到 Framework Desktop，解決 AMD 平台跑 PyTorch 專案的 CUDA 支援問題。
Inside-Out AI: Rebuilding Airbnb Behind the Scenes and Across the Guest Experience
Airbnb 前 Meta 大模型負責人 Ahmad Al-Dahle 分享如何將 AI 從內部開發流程帶到外部使用者體驗，透過 Everest 等工具加速產品上市。
Webinar: AI Agent Simulation of Human Behavior with Michael Bernstein
教授 Michael Bernstein 探討如何利用大型語言模型模擬人類行為，打造能預測組織與客戶反應的 AI 代理。透過深度訪談建立「數位孿生」，解決傳統模擬模型過於簡化或刻板印象的問題，協助決策者進行更精準的「如果」情境推演。
2.1 萬次觀看OpenRouter: from Seed to Stripe — with OpenRouter’s Alex Atallah & AMP’s Anjney Midha
OpenRouter 創辦人 Alex Atallah 與 AMP 的 Anjney Midha 訪談，回顧從早期開源模型到成為百萬開發者路由層的歷程。
Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify
Spotify 分享如何用 NEO 四階段訓練法，將開源大型語言模型轉化為能理解其百萬級歌單與播客的「Spotify 語言」。透過凍結主幹的領域接地與多工指令微調，系統能支援使用者用自然語言互動、編輯喜好並生成動態體驗，同時保留語言能力。
7,348次觀看Understand Local AI in 15 Minutes
介紹本地 AI 的定義、硬體需求與最佳模型選擇，並提供從入門到高階的三種實際設定方案。看完後你能了解如何根據記憶體與頻寬選擇適合的模型，並判斷何時該用雲端還是本地 AI。
5.8 萬次觀看The current balance of power in open models
Podcast 訪談探討 2026 年開放權重 AI 模型的全球權力平衡，指出中國模型在商業可行性與下載量上已超越美國。內容分析開放模型與封閉模型的差異、學術界採用趨勢、技術演進速度，以及由此帶來的資安風險與監管不確定性。
From Voice Agents to AI Avatars with Alexander Smola - #777
Alex Smola 探討從語音代理到視覺化 AI 頭像的技術挑戰，包括即時語音處理的延遲、音訊分詞與推理成本，以及多模態系統如何模擬人類的情感智慧與文化適應能力。
Build a Local AI Agent in 10 Minutes using Python
教學如何在 Python 環境下，利用本地模型建立 AI 代理，無需 API 金鑰或雲端服務。觀眾可學習使用 Ollama 下載模型、安裝程式庫並撰寫指令碼，讓 AI 具備執行工具的能力。
14.8 萬次觀看从DeepSeek、Kimi到“黄仁勋联盟”：AI模型开源，到底“开”了什么？
解析 DeepSeek、Kimi 等模型「開放權重」與真正開源的差異，探討不同許可證對開發者使用權限的影響，並分析黃仁勳聯盟對 AI 產業的意義。
12 萬次觀看※ 摘要僅根據標題與說明
Stanford CS229 Machine Learning | Spring 2026 | Lecture 20: GMM (EM), PCA
深入解析強化學習中的策略梯度演算法，並詳細介紹 PPO 演算法如何透過截斷優勢函式來穩定訓練。內容涵蓋數學原理、PPO 的截斷機制，以及用 RL 訓練大型語言模型長鏈式推理的實務挑戰與方法。
Baseten CEO Tuhin Srivastava on the AI Inference Crunch, Custom Models, and Building the Inference Cloud
Baseten 執行長 Tuhin Srivastava 與 Sarah Guo、Elad Gil 探討 AI 推理市場爆發、GPU 資源匱乏與客製化模型趨勢。
当我们在讨论 Harness 的时候，我们在讨论什么 | 深度对谈: Minimax × Hermes Agent
這場深度訪談邀請了 MiniMax 與 Hermes Agent 的代表，探討 Agent 技術從 OpenClaw 到 Hermes 的演進、Harness 如何解決記憶與技能沉澱問題，以及多 Agent 協作的未來。
How DeepSeek leveraged Qwen and Llama to build its model in $5M
探討 AI 開放原始碼的真實含義，指出僅有授權不夠，需重視社群與貢獻。DeepSeek 透過知識蒸餾技術，僅用 500 萬美元便打造出 frontier 模型，顯示模型可透過組合其他模型（如 Qwen、Llama）快速建構。
Why Nvidia builds open models with Bryan Catanzaro
訪談 NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro，探討 Nemotron 開放模型計畫的商業策略與技術目標。
Agentic Search: 搜尋技術不會消失，只是變成 Agent 工具
探討搜尋技術如何從傳統關鍵字匹配演變為由 AI Agent 主導的代理搜尋，涵蓋語意搜尋與代理搜尋的差異。讀者可了解 Agent 如何規劃步驟、呼叫工具並反思結果，以及將使用者滿意度納入評估的實作技巧。
- 12.4 萬次觀看
The Man Behind World’s Largest Dev Con | Stephan & Devoxx
Stephan Janssen 分享如何從「Vibe coding」快速原型轉向「Spec to code」完成大型專案，並探討 AI 代理在開發中的角色。內容涵蓋工具選擇、開發流程調整及對 DevOps 會議的規劃。
关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博
朱亦博分享 AI 基礎設施定義，解析從傳統到大模型時代的演變與差異，探討如何衡量 Infra 成效、團隊協作與未來挑戰。內容涵蓋最佳化指標、硬體選擇、多模態發展及《The Bitter Lesson》的啟示，幫助讀者理解 AI Infra…
【生成式AI時代下的機器學習(2025)】第十一講：今天你想為 Foundation Model 裝備哪些 Task Vector？淺談神奇的 Model Merging 技術
李宏毅教授介紹 Model Merging 技術，透過計算不同微調模型與基礎模型的參數差（Task Vector），直接加減參數即可融合新能力，無需額外訓練或資料。
【生成式AI時代下的機器學習(2025)】第六講：生成式人工智慧的後訓練(Post-Training)與遺忘問題
李宏毅教授深入解析生成式 AI 的後訓練（Post-Training）與遺忘問題，說明如何為通用模型注入特定技能。課程探討了避免模型在學習新任務時遺忘原有能力的策略，並介紹了過濾難產生 Token 的技術。
4.6 萬次觀看【生成式AI導論 2024】第12講：淺談檢定大型語言模型能力的各種方式
介紹如何評估大型語言模型的能力，涵蓋選擇題、翻譯、長文閱讀等任務的評比方法。內容指出傳統基準如 MMLU、BLEU 存在缺陷，並探討模型可能偷看訓練資料的現象，提供更客觀的評估視角。
【生成式AI導論 2024】第11講：大型語言模型在「想」什麼呢？ — 淺談大型語言模型的可解釋性
李宏毅教授探討大型語言模型的可解釋性，透過實作實驗與理論分析，說明如何判斷模型是否透明、可解讀及可解釋。課程涵蓋開源與閉源模型的差異、探針分析（probing）方法、信心分數評估，以及模型可能編造解釋的風險，幫助讀者理解當前 AI 黑盒的…
【生成式AI導論 2024】第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)
介紹大型語言模型第二階段的訓練方法，即利用人類標註的指令資料進行微調（Instruction Fine-tuning）。講者解釋了為何僅靠網路爬蟲資料無法讓模型具備常識，並說明如何透過逆向工程 ChatGPT 對話來獲取訓練資料。
10.4 萬次觀看Language Modeling Reading List (to Start Your Paper Club)
整理一份語言模型領域的經典論文清單，每篇都附有一句話的核心摘要。讀者可以透過這份清單快速了解 Transformer、大型語言模型、提示工程及相關技術的關鍵概念，並建立自己的論文閱讀俱樂部。
BERT explained: Training, Inference, BERT vs GPT/LLamA, Fine tuning, [CLS] token
詳細解說 BERT 模型的訓練、推理與微調機制，並與 GPT 及 LLaMA 進行比較。觀眾可透過視覺化步驟理解自注意力機制、[CLS] token 等核心概念，掌握自然語言處理的基礎原理。
※ 摘要僅根據標題與說明
最受歡迎
依人氣
Build a Local AI Agent in 10 Minutes using Python
教學如何在 Python 環境下，利用本地模型建立 AI 代理，無需 API 金鑰或雲端服務。觀眾可學習使用 Ollama 下載模型、安裝程式庫並撰寫指令碼，讓 AI 具備執行工具的能力。
14.8 萬次觀看Understand Local AI in 15 Minutes
介紹本地 AI 的定義、硬體需求與最佳模型選擇，並提供從入門到高階的三種實際設定方案。看完後你能了解如何根據記憶體與頻寬選擇適合的模型，並判斷何時該用雲端還是本地 AI。
5.8 萬次觀看Webinar: AI Agent Simulation of Human Behavior with Michael Bernstein
教授 Michael Bernstein 探討如何利用大型語言模型模擬人類行為，打造能預測組織與客戶反應的 AI 代理。透過深度訪談建立「數位孿生」，解決傳統模擬模型過於簡化或刻板印象的問題，協助決策者進行更精準的「如果」情境推演。
2.1 萬次觀看Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai
Sheilah Kirui 介紹 Speculative Decoding 技術，利用小模型預測多個 token 供大模型驗證以加速推理。
4,339次觀看※ 摘要僅根據標題與說明
从DeepSeek、Kimi到“黄仁勋联盟”：AI模型开源，到底“开”了什么？
解析 DeepSeek、Kimi 等模型「開放權重」與真正開源的差異，探討不同許可證對開發者使用權限的影響，並分析黃仁勳聯盟對 AI 產業的意義。
12 萬次觀看※ 摘要僅根據標題與說明
Language Modeling Reading List (to Start Your Paper Club)
整理一份語言模型領域的經典論文清單，每篇都附有一句話的核心摘要。讀者可以透過這份清單快速了解 Transformer、大型語言模型、提示工程及相關技術的關鍵概念，並建立自己的論文閱讀俱樂部。
Why Nvidia builds open models with Bryan Catanzaro
訪談 NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro，探討 Nemotron 開放模型計畫的商業策略與技術目標。
The current balance of power in open models
Podcast 訪談探討 2026 年開放權重 AI 模型的全球權力平衡，指出中國模型在商業可行性與下載量上已超越美國。內容分析開放模型與封閉模型的差異、學術界採用趨勢、技術演進速度，以及由此帶來的資安風險與監管不確定性。
Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify
Spotify 分享如何用 NEO 四階段訓練法，將開源大型語言模型轉化為能理解其百萬級歌單與播客的「Spotify 語言」。透過凍結主幹的領域接地與多工指令微調，系統能支援使用者用自然語言互動、編輯喜好並生成動態體驗，同時保留語言能力。
7,348次觀看- 12.4 萬次觀看