HAMi-core 与 KAI Scheduler：GPU 共享从可分配走向可治理

摘要

探討 GPU 共享如何從單純的資源分配走向具備強制隔離與可驗證的治理。透過分析 GPU 軟體架構的五層結構，釐清 GPU Operator、KAI Scheduler 與 HAMi Core 各自在排程、分配與執行隔離中的職責。重點說明 HAMi Core 如何補足 KAI Scheduler 的執行缺口，將軟性協同轉化為硬性的執行時限制，並展望未來在可觀測與異構統一治理上的發展方向。

This article explains how HAMi Core enables enforceable GPU memory isolation within NVIDIA's KAI Scheduler, moving GPU sharing from soft allocation to hard governance through a layered software architecture perspective.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 釐清 GPU 軟體架構五層結構與各元件職責歸屬
• HAMi Core 將 KAI Scheduler 的軟性協同轉為硬性執行時隔離
• 展望 HAMi 2.10 在可觀測與異構統一治理上的發展

提到的工具與公司

• HAMi-core
• KAI Scheduler
• CUDA
• CANN
• HAMi 2.10

適合誰看

負責管理 GPU 叢集、設計 AI 基礎設施或進行算力治理的工程師與架構師。

摘要依據

講者

Jimmy Song

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.81

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Kubernetes 正在成为 AI 时代的 GPU Control Plane：从 HAMi v2.9 看下一代 AI Infra 的演化文章 ・ Jimmy Song（宋净超）博客
• 为什么要做 GPU 调度：从调度全景到 HAMi mutex 的语义验证文章 ・ Jimmy Song（宋净超）博客
• Same Cluster, 33 Points More Utilization: What Changed Was the Order文章 ・ Hugging Face Blog
• The Professor of Outputmaxxing — Anjney Midha, AMPPodcast ・ Latent Space ・ 59 分鐘