Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

摘要

介紹了 Quantization-Aware Healing (QAH)，一種能修復結構壓縮與量化損傷的 4-bit 模型方法。與傳統方法不同，QAH 直接從原始模型進行蒸餾，而非從已壓縮的檢查點，從而讓 4-bit 模型在 7 個指標上超越其原始 16-bit 版本，並在小於 60B 引數的模型上達到 66.5 的 LiveCodeBench 分數。

This paper introduces Quantization-Aware Healing (QAH), a method that recovers and improves 4-bit models by distilling directly from the original model rather than from a compressed checkpoint. Applied to a 60B parameter GPT-OSS model, QAH achieves 7 of 9 benchmarks better than its full-precision 16…

重點

• QAH 直接從原始模型蒸餾，而非從已壓縮的檢查點，讓 4-bit 模型超越原始 16-bit 版本。
• QAH 在 7 個指標上超越 60B 原始版本，且在小於 60B 的模型上也能達到 66.5 的 LiveCodeBench 分數。
• QAH 訓練速度快 7 倍，且訓練後不會像 QAT 那樣迅速退化。

適合誰看

程式開發者、AI 模型架構師、希望用更小模型部署的技術人員。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.86

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Quantization: The Size vs Quality Trade-Off影片 ・ Hugging Face ・ 2 分鐘（在新分頁開啟原站）
• XEP29 - AI 市場變了！DeepSeek 最新壓縮技術、量化前沿與 AI 市場新訊號【試聽】影片 ・ 科技浪 ・ 12 分鐘
• Knowledge Distillation with Llama 3.1 405B | Llama for Developers影片 ・ AI at Meta ・ 29 分鐘（在新分頁開啟原站）
• Quantization explained with PyTorch - Post-Training Quantization, Quantization-Aware Training影片 ・ Umar Jamil ・ 51 分鐘（在新分頁開啟原站）
• [LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian RaschkaPodcast ・ Latent Space ・ 52 分鐘（在新分頁開啟原站）
• Qwen 27B on 6GB VRAM...影片 ・ Prompt Engineering ・ 14 分鐘（在新分頁開啟原站）