Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

摘要

介紹了使用 AsyncGRPOTrainer 與 LoRA 技術，在 Hugging Face Jobs 架構下實現跨節點訓練的方法。透過將模型權重縮小至僅 1.5MB 的 LoRA 貼附，並結合 Storage Bucket 作為共享儲存，解決了傳統 NCCL 同步的瓶頸問題。實驗顯示，此方案將訓練時間從 3 小時 27 分鐘縮短至 53 分鐘，並成功在多個節點上完成訓練與推理。

This post introduces a method to train LoRA adapters across Hugging Face Jobs using AsyncGRPOTrainer. By reducing model weights to just 1.5MB LoRA attachments and leveraging Storage Buckets for shared storage, it eliminates the bottleneck of NCCL cross-node synchronization. Experiments show this 1.5…

重點

• AsyncGRPOTrainer 支援 LoRA 貼附，僅同步貼附至 vLLM，無需全量模型同步。
• 利用 Storage Bucket 作為共享儲存，無需 NCCL 跨節點同步，僅需 FUSE 共享。
• LoRA 貼附僅 1.5MB，遠小於 3GB 全量模型，適合 RL 場景的輕量訓練。

提到的工具與公司

• AsyncGRPOTrainer
• LoRA
• vLLM
• Hugging Face Jobs
• TRL
• PEFT

適合誰看

系統架構工程師、AI 訓練開發者、Hugging Face Jobs 使用者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.92

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Low Rank Adaptation (LoRA) - How to search for a needle in a much smaller haystack影片 ・ Luis Serrano Academy ・ 33 分鐘（在新分頁開啟原站）
• Record, train, and deploy from one place with Strands Agents, LeRobot, and Hugging Face Storage Buckets文章 ・ Hugging Face Blog
• Insights from Finetuning LLMs with Low-Rank Adaptation影片 ・ Sebastian Raschka ・ 14 分鐘（在新分頁開啟原站）
• LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch影片 ・ Umar Jamil ・ 27 分鐘（在新分頁開啟原站）
• Fine-Tune Your Own A.I. Video Model (ft. Greg Schoeninger)Podcast ・ Tool Use - AI Conversations ・ 43 分鐘
• All about LoRA影片 ・ Trelis Research ・ 49 分鐘（在新分頁開啟原站）