【生成式AI時代下的機器學習(2025)】第十一講：今天你想為 Foundation Model 裝備哪些 Task Vector？淺談神奇的 Model Merging 技術

摘要

李宏毅教授介紹 Model Merging 技術，透過計算不同微調模型與基礎模型的參數差（Task Vector），直接加減參數即可融合新能力，無需額外訓練或資料。課程說明此技術可應用於增強模型、移除特定能力（如過濾髒話）以及無中生有創造新任務，並指出模型越大融合效果越好。

This talk explains Model Merging, a technique to combine capabilities of fine-tuned models by adding and subtracting parameter differences (Task Vectors) without retraining.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Model Merging 透過參數差（Task Vector）直接加減，無需額外訓練即可融合模型能力。
• 此技術可用於增強現有功能、移除特定能力（如過濾髒話）或創造全新任務。
• 實驗顯示模型越大融合效果越好，且未來可發展成類似網遊裝備的 Task Vector 商店。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Model Merging 技術與劍魔比喻
2. 02:51Task Vector 參數相減加減原理
3. 08:42繁體中文模型保留對齊能力
4. 12:34Merge 評價模型與程式寫作能力
5. 15:31利用反向向量抑制髒話語料
6. 18:33跨領域任務向量差值轉移
7. 22:01合成資料校正特定領域語音
8. 24:59組合 Task Vector 讓模型學會新技能
9. 33:05Model Merging 成功關鍵在於參數互不干擾

提到的工具與公司

• LLaMA
• LLaMA-2-base
• TAIDE
• DARE
• TIES
• Task Arith.

適合誰看

正在學習機器學習、希望了解大模型微調技術或想最佳化現有 AI 模型的開發者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.47

新鮮

0.14

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式人工智慧與機器學習導論2025】第 8 講：通用模型的終身學習 (Fine-tuning, Model Editing, Model Merging, Test-Time Training)影片 ・ Hung-yi Lee ・ 2 小時（在新分頁開啟原站）
• 【生成式AI時代下的機器學習(2025)】第十講：人工智慧的微創手術 — 淺談 Model Editing影片 ・ Hung-yi Lee ・ 45 分鐘
• Insights from Finetuning LLMs with Low-Rank Adaptation影片 ・ Sebastian Raschka ・ 14 分鐘（在新分頁開啟原站）
• Knowledge Distillation with Llama 3.1 405B | Llama for Developers影片 ・ AI at Meta ・ 29 分鐘（在新分頁開啟原站）
• 手把手教你从零微调一个专属领域大模型，零基础也能学会！影片 ・ code秘密花园 ・ 1 小時 42 分（在新分頁開啟原站）
• 如何观测模型的微调过程？微调后的模型如何合并导出和部署？影片 ・ code秘密花园 ・ 21 分鐘（在新分頁開啟原站）