AI 武林：H100

【曲博股市科技EP308】資料中心的未來在於太空：Starcloud公司網站產品大解密

曲博科技教室 Dr. J Class — Tue, 06 Oct 2026 00:00:00 +0800

介紹 Starcloud 公司的太空資料中心產品，解析其如何利用軌道設施部署 NVIDIA H100 GPU 以推動人工智慧革命。內容涵蓋從設計原則到星雲系列產品的具體規格與應用前景。

原站：https://www.youtube.com/watch?v=tCf3B-pLP5M

Accelerating No-Code Enterprise AI: Inside Simplismart’s NVIDIA Inception Journey

NVIDIA — Sat, 03 Oct 2026 00:00:00 +0800

Simplismart 透過無程式碼平台讓企業快速部署自訂 AI 模型，專注於最佳化生成式 AI 的推理效能。內容介紹如何利用 NVIDIA GPU、TensorRT-LLM 及 NIM 微服務，針對不同場景（如語音代理、檔案解析）調整延…

原站：https://www.youtube.com/watch?v=UxOQ2qyY6Qo

In-Context Retrieval with Siddharth Gollapudi - Weaviate Podcast #146!

Weaviate Podcast — Thu, 01 Oct 2026 00:00:00 +0800

探討將整個文庫置入大型語言模型上下文，利用注意力機制進行檢索的「情境檢索」技術。與需重新訓練的參數化檢索不同，此方法能更精確地還原文字，並解決長上下文中的注意力稀釋問題。

原站：https://podcasters.spotify.com/pod/show/weaviate/episodes/In-Context-Retrieval-with-Siddharth-Gollapudi---Weaviate-Podcast-146-e3pn04l

What exactly happens when you press send: Journey from Chat to a GPU

Vizuara — Wed, 30 Sep 2026 00:00:00 +0800

追蹤從手機按下傳送鍵到資料中心 GPU 的完整過程，解析大型語言模型如何透過矩陣運算與並行處理完成回答。觀眾能了解 Qwen3-8B 模型在 NVIDIA H100 上的實際運作機制與效能資料。

原站：https://www.youtube.com/watch?v=sjLFTUp-1T0

Inside Rubin: NVIDIA's most powerful AI chip

Vizuara — Tue, 29 Sep 2026 00:00:00 +0800

拆解 NVIDIA Rubin 晶片內部結構，從電路層級分析其運算核心與記憶體設計，並對比 H100 探討限制 AI 速度的關鍵因素。

原站：https://www.youtube.com/watch?v=EfYWEXnfXA8

How far behind Nvidia is Huawei?

Epoch AI（Gradient Updates） — Fri, 25 Sep 2026 00:00:00 +0800

分析華為在 AI 晶片與算力上的發展路徑，指出受出口管制限制，其晶片效能與產量難以在 2030 年前追上輝達。即使達成所有技術目標，華為仍將落後約四年，主要瓶頸在於製程裝置、記憶體供應及軟體生態。

原站：https://epochai.substack.com/p/how-far-behind-nvidia-is-huawei

#151 AI蛋糕的第三层｜Neoclouds新云的诞生

科技慢半拍 — Mon, 21 Sep 2026 00:00:00 +0800

探討 AI 時代如何從「搜尋」轉向「生成」，導致基礎設施投入激增，催生以 CoreWeave 等為代表的「新雲」產業。內容解析新雲如何透過整合電力、冷卻與 GPU 叢集，將算力轉化為可交易資產，並分析其與傳統雲及輝達的生態關係。

原站：https://www.xiaoyuzhoufm.com/episode/6aa365a29d32647781675d04

Two techniques for working with System One models

Sean Goedecke — Fri, 18 Sep 2026 00:00:00 +0800

介紹將大型語言模型轉化為只輸出決策的「System One」模型技術，並透過實作 Qwen3-8B 玩 Doom 與 Wikiracing 遊戲，分享設定層級目標與賽局抽樣等實作技巧。

原站：https://seangoedecke.com/two-techniques-for-working-with-system-one-models

#149 AI蛋糕的最底层｜重塑电力基础设施

科技慢半拍 — Mon, 07 Sep 2026 00:00:00 +0800

探討電力如何成為 AI 發展的瓶頸，從黃仁勳的「五層蛋糕」模型分析能源競爭。內容涵蓋從傳統交流電到 800V 高壓直流電的架構演進，以及垂直供電與晶片背面供電等技術革新，旨在說明縮短電力路徑、降低損耗的重要性。

原站：https://www.xiaoyuzhoufm.com/episode/6a94e541f03e74ee6b026129

20VC: How to Build Your Own Data Center & Why Every Startup Should Do It | How ElevenLabs Leapfrogged Us: What I Learned | The AI Talent War: How Your Hiring Process Needs to Change with Cliff Weitzman, Speechify

The Twenty Minute VC（20VC） — Sat, 05 Sep 2026 00:00:00 +0800

Cliff Weitzman 分享 Speechify 自購 Nvidia GPU 建立資料中心的策略，解釋為何自建比租機更划算且能加速模型訓練。

原站：https://thetwentyminutevc.libsyn.com/20vc-how-to-build-your-own-data-center-why-every-startup-should-do-it-how-elevenlabs-leapfrogged-us-what-i-learned-the-ai-talent-war-how-your-hiring-process-needs-to-change-with-cliff-weitzman-speechify

Up to 3.2x Faster Inference with LFM2.5-DSpark

Hugging Face Blog — Fri, 21 Aug 2026 00:00:00 +0800

介紹 LFM2.5-DSpark 技術，透過結合 DFlash 架構與輕量 Markov 頭部，大幅降低大模型推論延遲。文章提供在 H100 GPU 與 M4 Max 裝置上的具體效能資料，並說明如何在 SGLang 與 llama.…

原站：https://huggingface.co/blog/LiquidAI/lfm25-dspark

IsoExec: Unified Execution to Eliminate Trainer-Inference Mismatch in SkyRL

vLLM Blog — Fri, 21 Aug 2026 00:00:00 +0800

介紹 IsoExec，一種統一執行抽象，用於消除訓練與推論引擎間的浮點數不匹配問題。透過執行合約與位元一致的核心，確保 RL 訓練與推論使用相同策略時結果一致，降低除錯成本並提升系統穩定性。

原站：https://vllm.ai/blog/2026-08-21-isoexec

The Bloomberg Terminal for AI Compute

The Data Exchange with Ben Lorica — Thu, 13 Aug 2026 00:00:00 +0800

Steve Hou 與 Ben Lorica 探討 AI 運算市場資料，包括 GPU 租賃指數、前向曲線及 Token 支出趨勢。

原站：https://dts.podtrac.com/redirect.mp3/www.buzzsprout.com/682433/episodes/19604199-the-bloomberg-terminal-for-ai-compute.mp3

Building the First Data Centers in Space

Y Combinator Startup Podcast — Thu, 06 Aug 2026 00:00:00 +0800

Starcloud 執行長 Philip Johnston 分享公司如何先預訂 SpaceX 火箭再開發產品，並成功將 Nvidia H100 晶片送入太空執行。

原站：https://podcasters.spotify.com/pod/show/ycombinator/episodes/Building-the-First-Data-Centers-in-Space-e3n13ek

The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

Latent Space — Tue, 04 Aug 2026 00:00:00 +0800

深入探討推論工程如何將訓練好的模型轉化為高效、可靠且具規模的產品。內容涵蓋長問答處理中的 KV 快取路由、預解碼加速、量化最佳化、工具呼叫輸出約束等技術細節，並討論了持續學習與 KV 快取壓縮的未來方向。

原站：https://www.latent.space/p/inference-eng

Inside the Model Factory — Eiso Kant, Poolside AI

Latent Space — Thu, 23 Jul 2026 00:00:00 +0800

訪談 Eiso Kant 分享 Poolside AI 如何建立 Model Factory，在八週內將模型從預訓練到發布。內容涵蓋其十年研發歷程、為何轉向開放權重、Laguna S 2.1 的效能表現及團隊運作模式。

原站：https://www.latent.space/p/poolside

Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT

METR — Tue, 21 Jul 2026 00:00:00 +0800

提出「支出地平線」指標，用於量化 AI 代理在最佳化任務上的能力，並透過 NanoGPT 速度挑戰的資料進行實證分析。文章估算人類最佳化每提升 1% 需約 2,500 美元人力成本，並比較 AI 代理的投入曲線與人類曲線交點。

原站：https://metr.org/blog/2026-07-21-expenditure-horizon

Devin Outposts on Modal

Modal Blog — Tue, 21 Jul 2026 00:00:00 +0800

介紹 Devin 與 Modal 合作推出的 Devin Outposts，讓 AI 工程師能在使用者自訂的 GPU 環境中執行程式碼。

原站：https://modal.com/blog/devin-outposts-run-devin-in-modal-sandoxes

Building custom code models for Ericsson proprietary silicon | AI Now Summit 2026

Mistral — Thu, 02 Jul 2026 00:00:00 +0800

介紹 Ericsson 與 Mistral 合作開發專為其 ASIC 晶片量身打造的自訂大型語言模型，解決資料稀缺問題並達成高準確度。看完能了解如何將模型導入生產環境以實現自主訓練。

原站：https://www.youtube.com/watch?v=ArWG4pmTXPQ

🔬 The Coolest Diffusion Research Isn't in LLMs — Evan Feinberg & Sergey Edunov, Genesis Molecular AI

Latent Space — Wed, 01 Jul 2026 00:00:00 +0800

訪談 Genesis Molecular AI 創辦人 Evan Feinberg 與 CTO Sergey Edunov，探討他們如何透過專注於小分子藥物發現中的蛋白質 - 配體相互作用，利用擴散模型達到亞埃級精度。

原站：https://www.latent.space/p/the-coolest-diffusion-research-isnt

Most of the Web Will Never Get APIs for AI Agents | Dhruv Batra, Yutori

Chain of Thought — Thu, 18 Jun 2026 00:00:00 +0800

訪談 Dhruv Batra 與 Yutori 公司，探討為何多數網頁不會為 AI 代理提供 API，並介紹 Yutori Navigator 如何透過感知畫素與即時編寫 JavaScript 來執行任務。

原站：https://chainofthought.show/podcast/63-most-of-the-web-will-never-get-apis-for-ai-agents-dhruv-batra

Stanford CS336 Language Modeling from Scratch | Spring 2026 | Guest Lecture: Dan Fu

Stanford Online — Sat, 06 Jun 2026 00:00:00 +0800

Dan Fu 演講分享語言模型從訓練到推論的完整流程，重點在於如何將 GPU 轉化為實際的「智慧引擎」。內容涵蓋推論服務架構、最佳化 KV Cache 的策略，以及透過 Mega Kernels 技術減少 GPU 等待時間以提升效率。

原站：https://www.youtube.com/watch?v=9EEm4iMAF5s

Stanford CS25: Transformers United V6 I Serving Transformers: Lessons from the Trenches

Stanford Online — Fri, 05 Jun 2026 00:00:00 +0800

Charles Frye 分享在生產環境部署 Transformer 模型的實戰經驗，涵蓋從應用架構到硬體選型的完整流程。內容包含如何最佳化推理效能、選擇適合的 GPU 硬體以及使用工具進行效能分析與除錯，幫助工程師解決大規模推理挑戰。

原站：https://www.youtube.com/watch?v=ZUdIsRZhWXI

Introducing Claude Managed Agents with Modal Sandboxes

Modal Blog — Tue, 19 May 2026 00:00:00 +0800

Modal 與 Anthropic 合作推出整合，讓 Claude Managed Agents 能在自託管的 Modal Sandbox 中執行工具呼叫。

原站：https://modal.com/blog/introducing-claude-managed-agents-with-modal-sandboxes

Boosting multimodal inference performance by >10% with a single Python dictionary

Modal Blog — Mon, 04 May 2026 00:00:00 +0800

分析 SGLang 在處理多模態模型時，因重複執行 GPU 記憶體共享書寫作業導致效能瓶頸。透過簡單的 Python 字典快取機制替代昂貴的重複呼叫，使吞吐量提升 16% 且延遲降低 10%。

原站：https://modal.com/blog/boosting-multimodal-inference-performance-by-greater-than-10-with-a-single-python-dictionary

Evidence on AI R&D Progress from NanoGPT

METR — Tue, 21 Apr 2026 00:00:00 +0800

透過 NanoGPT 速度挑戰賽的公開資料，分析 AI 代理在加速 AI 研發方面的實際貢獻與進展。作者分類了人類與 AI 提出的最佳化方案，指出雖然 AI 已參與部分最佳化，但深度創新仍多來自人類，並探討了如何利用此類挑戰作為評估基準。

原站：https://metr.org/notes/2026-04-21-ai-rd-nanogpt-progress

Autoscaling Autoresearch: Give your agents elastic GPUs on Modal

Modal Blog — Tue, 14 Apr 2026 00:00:00 +0800

介紹如何使用 Modal 平台配合 Autoresearch 工具，讓 AI 代理自動彈性調配 GPU 資源進行研究。透過簡單的 API 呼叫，代理能根據任務需求即時啟動或釋放多張 GPU，既避免資源浪費，又大幅提升實驗速度與效率。

原站：https://modal.com/blog/autoscaling-autoresearch

Greetings, Earthlings: Philip Johnston of Starcloud on Data Centers in Space

Training Data — Tue, 17 Mar 2026 00:00:00 +0800

Philip Johnston 解釋為何太空資料中心將成為未來十年 AI 運算的主要地點，分析地緣限制與太空能源成本優勢。內容涵蓋熱耗散物理原理、射線防護測試、以及太空運算如何重塑雲端架構與經濟模型。

原站：https://pscrb.fm/rss/p/traffic.megaphone.fm/CPUAI3959632960.mp3

Dylan Patel — Deep dive on the 3 big bottlenecks to scaling AI compute

Dwarkesh Podcast — Sat, 14 Mar 2026 00:00:00 +0800

Dylan Patel 深入剖析 AI 運算擴展的三大瓶頸：邏輯、記憶體與電力，並探討實驗室、超大型雲端廠商與晶圓廠的經濟動態。內容涵蓋 H100 價格走勢、記憶體供需壓力、機器人集中化運算趨勢，以及台灣在地化供應鏈風險。

原站：https://www.dwarkesh.com/p/dylan-patel

How is hardware reshaping LLM design?

Julia Turc — Tue, 03 Mar 2026 00:00:00 +0800

解析為何傳統大型語言模型推理受記憶體牆限制，並探討 HBM、屋頂線模型及 vLLM 等最佳化技術。觀眾可了解記憶體與運算密集型任務的差異，以及擴散式模型如何改變工作負載。

原站：https://www.youtube.com/watch?v=BSzhrZOp2x8