How to Set Up NVIDIA Jetson for Remote AI Development with Codex
教學如何設定 NVIDIA Jetson 進行遠端 AI 開發,包含 SSH、Wi-Fi、Docker 與 CUDA 配置。完成後可建立安全的遠端開發環境並驗證 GPU 存取。
※ 摘要僅根據標題與說明
依發布時間,最新的 30 筆
教學如何設定 NVIDIA Jetson 進行遠端 AI 開發,包含 SSH、Wi-Fi、Docker 與 CUDA 配置。完成後可建立安全的遠端開發環境並驗證 GPU 存取。
※ 摘要僅根據標題與說明
探討 NVIDIA 與 CoreWeave 的 AI 雲端競爭、Varda 利用太空微重力製造藥物的商業模式、以及 Tavis 開發的人類互動 AI 模型。內容涵蓋從超算中心到 AI 工廠的戰略演變,並分享太空經濟與生物製藥的結合機會。
Div Garg 與 Stack Overflow 訪談,介紹 AGI Inc. 如何在手機上執行 AI 代理,透過自研編譯器與量化技術最佳化邊緣晶片效能。
實測僅需 8G 視訊記憶體即可在本地電腦執行 1250 億參數的 Qwen3.8-Flash-Next 大模型,並展示其編寫 3D 遊戲、數筷子等多模態能力。
介紹 Morph 如何利用自動研究框架最佳化 GPU 核心,將模型速度提升三倍。人類負責提出高階最佳化概念,代理則負責調整參數並驗證正確性與速度。
NVIDIA 主持人與專家探討「垂直整合、水平開放」的 AI 平台架構,解析 CUDA 庫如何支撐金融、醫療等產業的專業工作負載,並展望 AI 代理的未來發展。
※ 摘要僅根據標題與說明
記錄莊明浩在北京參加 AICC2026 人工智慧計算大會的見聞,探討 AI 進入生產階段後智慧、算力與晶片的走向。內容涵蓋從 Chat 到 Agent 的需求躍遷、智慧從機率擬合轉向可信生產的重新定義,以及算力晶片與 FlagOS 生態的…
Filip Makraduli 分享 FlashNorm 技術,透過將 RMS 規範係數合併至權重並延遲除法,讓矩陣乘法與向量運算並行執行,提升 Transformer 推理速度。
Asaf Gardin 與 Yuval Belfer 分享在 vLLM 部署 AI21 Jamba 模型時發現的兩個隱性錯誤。第一個導致偶爾輸出無意義內容,根源在於解碼階段早於預填充階段執行;第二個則由 32 位索引溢位引發。
探討代理型 AI 如何改變推理工作負載,指出傳統 GPU 在生成階段面臨記憶體瓶頸。SambaNova 的 RDU 架構將整個模型空間化佈局,實現線性擴展與高並行,解決速度與吞吐量取捨問題,並可部署於既有資料中心。
Bill Dally 與 Google TPU 之父 Norman Jouppi 探討 AI 晶片競爭本質,指出競爭單位已從單顆晶片轉向包含電力、液冷與軟體生態的完整系統工程。
介紹從零開始建立推理模型的動機與程式環境設定,涵蓋從傳統大型語言模型到推理模型的差異,並指導使用 uv 安裝 PyTorch 依賴。觀眾可學習如何配置開發環境並理解自製模型的基礎概念。
※ 摘要僅根據標題與說明
探討輝達為解決資金瓶頸推出的新融資模式,並分析其與鐵路擴張的歷史相似性。主持人深入討論了大型語言模型對輝達的雙面影響、GPU 壽命與資料中心冷卻技術的挑戰,以及未來 AI 應用是否會削弱 CUDA 護城河。
劉洺堉訪談輝達研究副總裁劉洺堉,深入探討輝達世界基座模型 Cosmos 系列(特別是 Cosmos 3)的演進與技術理念。內容涵蓋物理世界人工智慧(Physical AI)的戰略方向、黃仁勳的「造市場」哲學,以及大模型競爭觀的轉變。
探討如何在推理階段透過增加計算量來提升大型語言模型效能,涵蓋並行取樣、驗證機制及架構搜尋等技術。觀眾可學習如何利用測試時計算超越現有模型,並掌握相關Scaling Law與實務架構設計。
介紹 Fable 寫出高效 GPU 核碼的突破,分析 AI 自動化線上任務能力的提升,並探討 OSWORLD 2.0 benchmarks 顯示 AI 在複雜電腦操作上的進展。最後以虛構故事展望未來類比運算的應用。
Dylan Patel 分享 SemiAnalysis 從技術分析到營收破億的成長歷程,探討硬體與軟體協同設計對 AI 模型架構的關鍵影響。
解析華為昇騰 950 系列如何透過系統級最佳化與 CANN 架構,解決 DeepSeek V4 等中國大模型的算力挑戰。觀眾能了解華為如何突破物理限制,建立不依賴輝達的自主算力生態。
※ 摘要僅根據標題與說明
Tuhin Srivastava 分享 Baseten 如何透過客製化模型與基礎設施,協助 AI 公司解決推論效能、可靠性與成本問題。內容涵蓋 frontier 模型與客製化模型的市場趨勢、開放原始碼模型的挑戰,以及硬體生態系的未來發展。
介紹 Cerebras 如何以超大晶片挑戰輝達,透過整合整片晶圓實現高速推理,並與 Meta、OpenAI 等巨頭合作。內容涵蓋其技術路線、資本週期起伏及 IPO 歷程,分析其能否撼動現有算力王座。
深入探討推論工程(Inference Engineering),解釋為何它是 AI 最關鍵且複雜的工作負載。內容涵蓋從研究到生產的快速週期、關鍵技術如量化與 KV Cache 重用的應用,以及業界從 API 呼叫到自建平台的演進路徑。
解析谷歌 TPU 晶片如何吸引蘋果與 Meta 倒戈,並深入探討脈動陣列架構與 BF16 精度對大模型訓練成本的影響。觀眾能了解 AI 晶片自研趨勢、TPU 與 GPU 的差異及輝達的市場地位。
※ 摘要僅根據標題與說明
黃仁勳接受兩小時訪談,闡述 Nvidia 從電子轉 Token 的核心使命,強調 CUDA 生態護城河與不參與雲服務的策略。他認為供應鏈瓶頸僅兩三年,真正挑戰在能源政策,並指出限制出口將加速中國自主化。
探討空間智慧作為實現 AGI 的關鍵技術,解析其與世界模型、具身智慧的關聯。透過群核科技黃曉煌訪談,了解從傳統設計軟體轉型至空間智慧的歷程,並分析該領域面臨的資料瓶頸與未來潛力。
群核科技創始人黃曉煌專訪,回顧公司從輝達離職創業至今的十五年歷程,談論如何從雲端 GPU 技術轉向家居設計軟體酷家樂,以及在 AI 浪潮中如何選擇投入空間智慧而非大模型。內容包含創業艱難、人才選拔策略與對科技企業生存哲學的深刻反思。
探討 GTC 2026 上 AI 競爭焦點從模型轉向推理系統,分析 Eigen AI 等公司如何加速開源模型。內容涵蓋 GPU 與 LPU 分工、Token 消耗激增對商業模式的衝擊,以及推理最佳化技術路徑。
Jensen Huang 談論 NVIDIA 如何透過極端協同設計,整合晶片、記憶體、網路與軟體來突破 AI 擴展限制。他分享公司從加速卡轉向「AI 工廠」的戰略轉變,並探討 TSMC 的成功關鍵與對未來的樂觀展望。
深入解析 NVIDIA GTC 大會亮點,探討黃仁勳的垂直整合敘事、AI 推論市場策略及 Groq LPU 應用。同時分析馬斯克 Terafab 計畫與太空資料中心的可行性,並討論供應鏈挑戰。
依人氣
實測僅需 8G 視訊記憶體即可在本地電腦執行 1250 億參數的 Qwen3.8-Flash-Next 大模型,並展示其編寫 3D 遊戲、數筷子等多模態能力。
探討如何在推理階段透過增加計算量來提升大型語言模型效能,涵蓋並行取樣、驗證機制及架構搜尋等技術。觀眾可學習如何利用測試時計算超越現有模型,並掌握相關Scaling Law與實務架構設計。
訪談 NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro,探討 Nemotron 開放模型計畫的商業策略與技術目標。
黃仁勳接受兩小時訪談,闡述 Nvidia 從電子轉 Token 的核心使命,強調 CUDA 生態護城河與不參與雲服務的策略。他認為供應鏈瓶頸僅兩三年,真正挑戰在能源政策,並指出限制出口將加速中國自主化。
Filip Makraduli 分享 FlashNorm 技術,透過將 RMS 規範係數合併至權重並延遲除法,讓矩陣乘法與向量運算並行執行,提升 Transformer 推理速度。
Dylan Patel 分享 SemiAnalysis 從技術分析到營收破億的成長歷程,探討硬體與軟體協同設計對 AI 模型架構的關鍵影響。
介紹 Morph 如何利用自動研究框架最佳化 GPU 核心,將模型速度提升三倍。人類負責提出高階最佳化概念,代理則負責調整參數並驗證正確性與速度。
Bill Dally 與 Google TPU 之父 Norman Jouppi 探討 AI 晶片競爭本質,指出競爭單位已從單顆晶片轉向包含電力、液冷與軟體生態的完整系統工程。
Asaf Gardin 與 Yuval Belfer 分享在 vLLM 部署 AI21 Jamba 模型時發現的兩個隱性錯誤。第一個導致偶爾輸出無意義內容,根源在於解碼階段早於預填充階段執行;第二個則由 32 位索引溢位引發。