【生成式AI時代下的機器學習(2025)】第八講：大型語言模型的推理過程不用太長、夠用就好

摘要

探討大型語言模型推理過程過長是否必要，指出推理長度與正確率未必正相關，反而消耗額外算力。透過控制提示詞、調整參數、知識蒸餾及強化學習獎勵機制，可訓練出推理短且準確的模型，達到資源效率與效能的平衡。

This lecture explains how to optimize large language models to reason efficiently without unnecessary long outputs, balancing accuracy and computational cost.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 推理長度過長未必提升正確率，反而浪費算力資源。
• 透過提示詞最佳化與參數調整可控制模型推理長度。
• 利用知識蒸餾與強化學習獎勵機制訓練短推理模型。

章節

依話題轉折切分，標題由 AI 產生

1. 00:01推理長度與正確率呈負相關
2. 05:12Chain of Draft 避免冗長思考
3. 09:05漸進式移除推理過程訓練
4. 11:54RL 獎勵機制控制輸出長度
5. 16:44過長推理反而損害推理能力
6. 21:29過猶不及：推理長度適中最佳

提到的工具與公司

• Claude 3.5
• Sonnet
• DeepSeek R1
• Gemini
• AIME
• GSM8K

適合誰看

正在學習機器學習原理、開發或除錯大型語言模型的工程師與研究者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.46

新鮮

0.14

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Controlling Reasoning Effort in LLMs文章 ・ Sebastian Raschka（部落格）
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Paper)影片 ・ Yannic Kilcher ・ 53 分鐘（在新分頁開啟原站）
• Reiner Pope – The math behind how LLMs are trained and servedPodcast ・ Dwarkesh Podcast ・ 2 小時 14 分
• Stanford CS336 Language Modeling from Scratch | Spring 2026 | Guest Lecture: Dan Fu影片 ・ Stanford Online ・ 1 小時 12 分
• XEP22 - 兩篇最新 AI 研究分享：如何讓 LLM 處理超過1000萬個 token？透過重複 Prompt 來輕鬆提升 AI 回答品質？【試聽】影片 ・ 科技浪 ・ 8 分鐘
• 1020: How to Choose Model Size and Effort Level: The Two Critical DialsPodcast ・ Super Data Science ・ 17 分鐘