1影片高階中文
[LLM Architect] 12 Kimi K3 架构初步，张量计算视角，KDA，MLA，Latent MoE，MoonViT 与残差注意力
從張量計算視角解析 Kimi K3 架構，涵蓋 KDA、MLA、Latent MoE 與 MoonViT 等關鍵技術。觀眾可了解大型語言模型內部運作原理與最佳化策略。
4.1 萬次觀看
※ 摘要僅根據標題與說明
五道口纳什
Bilibili ・ 華語圈 ・ 簡體中文 ・ A 級 ・ 8.7 萬 訂閱 ・ 19 筆內容 ・ 最近更新 2026/10/07
硬核的 LLM 架構與訓練／推論基礎設施：模型架構推測、KV cache、多卡訓練、量化、算力密度，直接寫程式碼講
最受歡迎
依人氣
- 2影片進階中文
[A100 Training] 01 熟悉一台A100 SXM GPU计算节点，必要基础配置，SXM/PCIe/HGX，CPU与GPU带宽及内存带宽测试
介紹 A100 SXM GPU 計算節點的必要基礎配置，涵蓋 SXM、PCIe 與 HGX 架構，並演示 CPU 與 GPU 及記憶體頻寬測試方法。觀眾可學習如何設定與驗證高階訓練環境。
2.6 萬次觀看※ 摘要僅根據標題與說明
- 3影片進階中文
[数学基础与PyTorch] 06 理解高维Tensor，手撕 MHA 为什么先 reshape 再 permute？view/stride/contiguou
由五道口納什講解高維張量的 reshape 與 permute 操作，並手動實現 MHA 核心邏輯。觀眾可透過影片掌握 PyTorch 中張量形狀處理的細節與原理。
1.3 萬次觀看※ 摘要僅根據標題與說明
- 4影片進階中文
[Pro 6000 Training] 06 8卡 RTX PRO 6000 原生 FP4 装下 GLM-5.3：NVFP4、E2M1、KV cache 与并发
介紹如何使用 NVFP4、E2M1 量化與 KV cache 技術，在 8 卡 RTX Pro 6000 上執行 GLM-5.3 模型。觀眾可學習如何最佳化硬體資源以在有限算力下部署大型語言模型。
※ 摘要僅根據標題與說明
- 5影片進階中文
[硬件扫盲] 苹果 M5 pro/max 芯片，对比 Nvidia GPU，内存带宽，统一内存，tensor core，融合架构
比較 Apple M5 Pro/Max 晶片與 Nvidia GPU 的記憶體頻寬、統一記憶體與 Tensor Core 等融合架構特性。觀眾可了解 Apple 晶片在 AI 運算上的優勢與差異。
4 萬次觀看※ 摘要僅根據標題與說明
- 6影片進階中文
[LLM Architect] 13 Kimi K3 门控机制，门控注意力，Gated MLA，KDA的门控分支，MoE 中的SiTU-GLU，SwiGLU
解析 Kimi K3 模型中的門控機制、門控注意力及 MoE 中的激活函數應用。
※ 摘要僅根據標題與說明
- 2.8 萬次觀看
※ 摘要僅根據標題與說明
- 8影片高階中文
[LLM Architect] 10 为什么LLM无法理解输出马嘉祺，深入理解Glitch（故障）Token，词嵌入漂移、SFT/RL、gradient 视角
深入解析大型語言模型無法理解特定輸出（如馬嘉祺）的技術原因，涵蓋 Glitch Token、詞嵌入漂移、SFT 與 RL 等機制。觀眾可從 gradient 視角理解模型故障原理。
※ 摘要僅根據標題與說明
- 9影片進階中文
[Agentic Infra] 03 算力密度与Roofline model，对比 5090/M5 max/DGX spark，Qwen3-8B 算力与访存
探討算力密度與 Roofline model，比較 5090、M5 max 與 DGX Spark 的效能，並分析 Qwen3-8B 的算力與記憶體存取特性。觀眾可透過影片了解不同硬體在生成式 AI 架構下的實際表現與選型考量。
3,621次觀看※ 摘要僅根據標題與說明
- 10影片進階中文
[LLM Architect] 08 Dive into K2.5，Kimi K2.5 论文串讲与导读，原生多模态，Agent Swarm，国产之光
五道口納什串講 Kimi K2.5 論文，介紹原生多模態與 Agent Swarm 技術。
2.5 萬次觀看※ 摘要僅根據標題與說明
最新內容
依發布時間
- 影片進階中文
[Pro 6000 Training] 06 8卡 RTX PRO 6000 原生 FP4 装下 GLM-5.3：NVFP4、E2M1、KV cache 与并发
介紹如何使用 NVFP4、E2M1 量化與 KV cache 技術，在 8 卡 RTX Pro 6000 上執行 GLM-5.3 模型。觀眾可學習如何最佳化硬體資源以在有限算力下部署大型語言模型。
※ 摘要僅根據標題與說明
- 影片進階中文
[Agentic Infra] 03 算力密度与Roofline model，对比 5090/M5 max/DGX spark，Qwen3-8B 算力与访存
探討算力密度與 Roofline model，比較 5090、M5 max 與 DGX Spark 的效能，並分析 Qwen3-8B 的算力與記憶體存取特性。觀眾可透過影片了解不同硬體在生成式 AI 架構下的實際表現與選型考量。
3,621次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[数学基础与PyTorch] 06 理解高维Tensor，手撕 MHA 为什么先 reshape 再 permute？view/stride/contiguou
由五道口納什講解高維張量的 reshape 與 permute 操作，並手動實現 MHA 核心邏輯。觀眾可透過影片掌握 PyTorch 中張量形狀處理的細節與原理。
1.3 萬次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[LLM Architect] 13 Kimi K3 门控机制，门控注意力，Gated MLA，KDA的门控分支，MoE 中的SiTU-GLU，SwiGLU
解析 Kimi K3 模型中的門控機制、門控注意力及 MoE 中的激活函數應用。
※ 摘要僅根據標題與說明
- 影片高階中文
[LLM Architect] 12 Kimi K3 架构初步，张量计算视角，KDA，MLA，Latent MoE，MoonViT 与残差注意力
從張量計算視角解析 Kimi K3 架構，涵蓋 KDA、MLA、Latent MoE 與 MoonViT 等關鍵技術。觀眾可了解大型語言模型內部運作原理與最佳化策略。
4.1 萬次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[A100 Training] 04 verl/slime Docker 容器 debug，断点调试，源码细读，ray 分布式 debug
示範如何在使用 A100 訓練大型語言模型時，透過 Docker 容器進行斷點除錯與原始碼細讀。觀眾能學習到使用 Ray 框架進行分散式除錯的具體方法與技術細節。
6,110次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[A100 Training] 01 熟悉一台A100 SXM GPU计算节点，必要基础配置，SXM/PCIe/HGX，CPU与GPU带宽及内存带宽测试
介紹 A100 SXM GPU 計算節點的必要基礎配置，涵蓋 SXM、PCIe 與 HGX 架構，並演示 CPU 與 GPU 及記憶體頻寬測試方法。觀眾可學習如何設定與驗證高階訓練環境。
2.6 萬次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[智能的边界] 深入 GPT Pro，通用工具设计（搜索与cli），沙盒系统硬件，skills，Python环境，UV，下载限制与 tex pdf 等
深入探討 GPT Pro 的通用工具設計，涵蓋搜尋、CLI 與沙盒系統硬體等技術細節。觀眾可學習如何構建具備搜尋與命令列能力的 AI 系統，並了解相關開發環境與限制。
※ 摘要僅根據標題與說明
- 影片進階中文
[数学基础与PyTorch] 03 回顾策略梯度，score function trick，蒙特卡洛采样，pytorch 优化与重要性采样
回顧策略梯度、分數函式技巧、蒙特卡洛取樣與重要性取樣，並結合 PyTorch 最佳化與實際範例。觀眾可理解強化學習中的核心演算法原理與實作方法。
4,568次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[M芯片与AI计算] 02 Coding Agent 时代的 MacOS 装机配置与心流体验的获得，实用 CLI 工具，rg、yazi、fzf、uv
介紹 MacOS 在 Coding Agent 時代的實用 CLI 工具配置與心流體驗。
8,738次觀看※ 摘要僅根據標題與說明
- 影片高階中文
[LLM Architect] 10 为什么LLM无法理解输出马嘉祺，深入理解Glitch（故障）Token，词嵌入漂移、SFT/RL、gradient 视角
深入解析大型語言模型無法理解特定輸出（如馬嘉祺）的技術原因，涵蓋 Glitch Token、詞嵌入漂移、SFT 與 RL 等機制。觀眾可從 gradient 視角理解模型故障原理。
※ 摘要僅根據標題與說明
- 影片進階中文
[探索智能的边界] 喜迎 GPT Image 2，多图一致性，agentic search，thinking and generating
介紹 GPT Image 2 的多圖一致性、智慧搜尋與思考生成功能，並提供相關程式碼範例。觀眾可學習如何應用最新 AI 影像與代理技術。
5,395次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[Modern Agent] 17 Codex 中的 Plan Mode 与 update_plan，plan dynamics：创建、状态更新与replan
介紹 Codex 中 Plan Mode 的運作機制，涵蓋計畫建立、狀態更新與重新規劃（replan）的動態過程。觀眾可透過影片理解現代代理系統中計畫管理的核心邏輯。
7,776次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[Modern Agent] 14 Codex 中的上下文压缩 compact 与 handoff | openai compact 接口提示词破解
介紹 Codex 模型中的上下文壓縮技術與任務交接機制，並演示如何破解 compact 介面提示詞。觀眾可學習現代代理系統中最佳化上下文處理與指令設計的方法。
※ 摘要僅根據標題與說明
- 影片進階中文
[LLM Architect] 09 深入理解和对比 prefill与decode | kv-cache | 并行-串行 | GEMM-GEMV | 算力-带宽
深入解析大型語言模型架構中的 prefill 與 decode 階段，涵蓋 KV-Cache、並行與序列機制及 GEMM-GEMV 運算。觀眾能理解 LLM 推理的核心流程與效能最佳化原理。
※ 摘要僅根據標題與說明
- 2.8 萬次觀看
※ 摘要僅根據標題與說明
- 影片進階中文
[Modern Agent] 11 Codex 初步，系统提示词注入，会话历史管理，Context Engineering，Skills / MCP 位置
介紹 Codex 模型在現代代理中的初步應用，涵蓋系統提示詞注入、會話歷史管理與上下文工程技術。觀眾可學習如何最佳化提示詞與管理上下文以提升 AI 代理效能。
※ 摘要僅根據標題與說明
- 影片進階中文
[硬件扫盲] 苹果 M5 pro/max 芯片，对比 Nvidia GPU，内存带宽，统一内存，tensor core，融合架构
比較 Apple M5 Pro/Max 晶片與 Nvidia GPU 的記憶體頻寬、統一記憶體與 Tensor Core 等融合架構特性。觀眾可了解 Apple 晶片在 AI 運算上的優勢與差異。
4 萬次觀看※ 摘要僅根據標題與說明
- 影片進階中文
[LLM Architect] 08 Dive into K2.5，Kimi K2.5 论文串讲与导读，原生多模态，Agent Swarm，国产之光
五道口納什串講 Kimi K2.5 論文，介紹原生多模態與 Agent Swarm 技術。
2.5 萬次觀看※ 摘要僅根據標題與說明
