Weight Folding, CUDA Streams, and the Bug That Made My Model Speak Backwards — Filip Makraduli

摘要

Filip Makraduli 分享 FlashNorm 技術，透過將 RMS 規範係數合併至權重並延遲除法，讓矩陣乘法與向量運算並行執行，提升 Transformer 推理速度。他還揭露並修復了因 CUDA 串流隱式匯總而導致的模型輸出重複與延遲的 Bug，並說明為何需要開放式推理引擎來部署自定義核碼。

Filip Makraduli explains FlashNorm optimizations for RMS norm in transformers and shares a CUDA stream bug fix that caused model output errors.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• FlashNorm 透過權重合併與延遲除法，讓 RMS 規範與矩陣運算並行。
• CUDA 串流隱式匯總導致讀取未完成緩區，引發模型輸出重複與延遲。
• 開放式推理引擎能支援自定義核碼部署，避免租端限制。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Two lines of algebra for RMS norm
2. 02:07Why a layer with no math costs so much time
3. 03:44Weight folding, deferred division, dropped pre norm
4. 06:33The output that came from the past
5. 07:25Tensor cores and CUDA cores in parallel
6. 08:45An implicit join and a race condition
7. 09:58Making the post scale wait on both streams
8. 10:42Results on open models, and what works out of the box
9. 13:54Why you cannot do kernel work on a rented endpoint
10. 16:00Paper, repo, and where to find him

提到的工具與公司

• FlashNorm
• RMS norm
• CUDA
• CUDA cores
• Hugging Face
• Site

適合誰看

正在最佳化 Transformer 推理速度、熟悉 CUDA 程式設計或部署自定義模型開發者的工程師。

摘要依據

講者

Filip Makraduli

依據

自動字幕

為什麼排在這裡

人氣

0.76

新鮮

0.94

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Two Bugs That Hid in Plain Sight: A vLLM Debugging Detective Story — Asaf Gardin & Yuval Belfer影片 ・ AI Engineer ・ 18 分鐘
• Inside Nemotron & NVIDIA’s AI Lab | Bryan CatanzaroPodcast ・ The MAD Podcast ・ 1 小時 23 分
• Flash Attention derived and coded from first principles with Triton (Python)影片 ・ Umar Jamil ・ 7 小時 38 分（在新分頁開啟原站）
• What Makes Open Models Fast in Production — Sujee Maniyam, Nebius影片 ・ AI Engineer（在新分頁開啟原站）
• Stanford CS336 Language Modeling from Scratch | Spring 2026 | Guest Lecture: Dan Fu影片 ・ Stanford Online ・ 1 小時 12 分
• Bill Dally对话TPU之父Norman Jouppi ：真正竞争的不是芯片 | AI芯片 | TPU | 英伟达 | 系统工程 | 硅金矿 | CUDA影片 ・ Best Partners TV ・ 25 分鐘