Fine-tuning experiments on CoT controllability

摘要

透過微調四個推理模型，發現少量指令跟隨訓練即可提升其控制思維鏈（CoT）的能力。實驗顯示，微調後模型在陌生任務上的可控性平均從 2.9% 提升至 8.8%，證明此能力潛在於模型而非僅靠訓練。

This article reviews experiments showing that minimal fine-tuning on instruction following significantly improves a model's controllability over its Chain-of-Thought reasoning traces.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 微調少量指令跟隨資料即可顯著提升模型控制思維鏈的能力。
• 實驗涵蓋 GPT-OSS 與 Qwen 系列四種不同大小的推理模型。
• 結果顯示低可控性並非對意外最佳化壓力具有高度韌性。

提到的工具與公司

• GPT-OSS-20B
• GPT-OSS-120B
• Qwen-3-8B
• Qwen-3-32B
• Qwen3-235B-A22B
• Kimi
• HuggingFace
• GPT-4.1

適合誰看

對大型語言模型、機器學習原理或思維鏈控制感興趣的研究者與開發者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.48

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Can Interpretability Control Model Training?影片 ・ Neel Nanda ・ 22 分鐘
• Controllable Neural Text Generation文章 ・ Lilian Weng（部落格）
• Scaling PyTorch Model Training With Minimal Code Changes影片 ・ Sebastian Raschka ・ 15 分鐘
• Controlling Reasoning Effort in LLMs文章 ・ Sebastian Raschka（部落格）
• Shaping Model Behavior in GPT-5.1 - Episode 11Podcast ・ OpenAI Podcast ・ 29 分鐘
• 通用 AI 懂最多卻搞不定公司內部流程，企業需要訓練自己的專屬模型文章 ・ TechOrange 科技報橘