Harness Engineering — Agent 不好用,也许不是模型的问题
定義 Harness Engineering 為除模型權重外的一切工程實踐,透過系統提示、工具集、隔離環境與上下文壓縮等機制提升效能。
部落格 ・ 華語圈 ・ 簡體中文 ・ A 級 ・ 10 筆內容 ・ 最近更新 2026/10/04
簡中;LLM 與 Agent 的技術長文:Harness Engineering、訓練方法解讀、從零手寫 LLM 與 Agentic RAG;近半年以月度小結為主
依人氣
定義 Harness Engineering 為除模型權重外的一切工程實踐,透過系統提示、工具集、隔離環境與上下文壓縮等機制提升效能。
深入解析 LLM 推理中的 KV Cache 原理,說明 Prefill 與 Decode 兩階段如何分別受算力與記憶體限制,並闡述 Prompt Caching 如何透過字首匹配跨請求加速推理。
探討 AI Agent 為何比 Chatbot 更需要 Prompt Caching,並分析會破壞 Cache 的操作如修改 System Prompt 或工具定義。
深入解析 DPO 演算法原理,解釋其如何將 RLHF 簡化為只需兩個模型的訓練流程。讀者將掌握 DPO 損失函式的數學推導、手寫核心程式碼,並使用 trl 庫完成完整訓練。
深入探討 AI Agent 的上下文管理策略,包括解決上下文腐爛、實現 Cache-Safe 壓縮、演進 Plan 模式以及利用檔案系統作為延展記憶。
深入解析 RoPE 旋轉位置編碼的數學原理與 PyTorch 實作,從旋轉矩陣推導相對位置編碼,並提供可執行的程式碼範例。讀者能掌握 RoPE 的核心思想,理解其如何讓注意力機制依賴相對位置,並透過視覺化輔助直觀理解。
作者袁朝發分享斷更七個月的反思,決定將全平台署名改為真名,強調內容需負起責任而非由 AI 接管思考。同時更新書寫進度,說明《大型語言模型:從菜鳥到大師》因工作忙碌暫未完成,並分享投資與生活近況。
回顧 2025 年作為父親、打工人與內容創作者的多重挑戰,探討在 AI 浪潮中如何平衡家庭與工作,並反思個人產出與商業化嘗試的得失。文章分享了 Agent 系統設計經驗、技術公開表達的成長,以及對未來擁抱 AI Coding 的展望。
深度解析 Kimi K2.5 技術,涵蓋原生多模態聯合訓練、Zero-Vision SFT 及 Agent Swarm 並行編排等創新。讀者可掌握反常識的訓練策略與提升效能的 RL 架構設計。
分享如何利用 Multica 和 Hermes Agent 建立自動化工作流,將效率提升數倍。文章探討了從工程師思維轉向「老闆思維」,透過設定目標與驗收機制來管理 AI 任務。
依發布時間
分享如何利用 Multica 和 Hermes Agent 建立自動化工作流,將效率提升數倍。文章探討了從工程師思維轉向「老闆思維」,透過設定目標與驗收機制來管理 AI 任務。
作者袁朝發分享斷更七個月的反思,決定將全平台署名改為真名,強調內容需負起責任而非由 AI 接管思考。同時更新書寫進度,說明《大型語言模型:從菜鳥到大師》因工作忙碌暫未完成,並分享投資與生活近況。
定義 Harness Engineering 為除模型權重外的一切工程實踐,透過系統提示、工具集、隔離環境與上下文壓縮等機制提升效能。
深度解析 Kimi K2.5 技術,涵蓋原生多模態聯合訓練、Zero-Vision SFT 及 Agent Swarm 並行編排等創新。讀者可掌握反常識的訓練策略與提升效能的 RL 架構設計。
回顧 2025 年作為父親、打工人與內容創作者的多重挑戰,探討在 AI 浪潮中如何平衡家庭與工作,並反思個人產出與商業化嘗試的得失。文章分享了 Agent 系統設計經驗、技術公開表達的成長,以及對未來擁抱 AI Coding 的展望。
深入探討 AI Agent 的上下文管理策略,包括解決上下文腐爛、實現 Cache-Safe 壓縮、演進 Plan 模式以及利用檔案系統作為延展記憶。
探討 AI Agent 為何比 Chatbot 更需要 Prompt Caching,並分析會破壞 Cache 的操作如修改 System Prompt 或工具定義。
深入解析 LLM 推理中的 KV Cache 原理,說明 Prefill 與 Decode 兩階段如何分別受算力與記憶體限制,並闡述 Prompt Caching 如何透過字首匹配跨請求加速推理。
深入解析 DPO 演算法原理,解釋其如何將 RLHF 簡化為只需兩個模型的訓練流程。讀者將掌握 DPO 損失函式的數學推導、手寫核心程式碼,並使用 trl 庫完成完整訓練。
深入解析 RoPE 旋轉位置編碼的數學原理與 PyTorch 實作,從旋轉矩陣推導相對位置編碼,並提供可執行的程式碼範例。讀者能掌握 RoPE 的核心思想,理解其如何讓注意力機制依賴相對位置,並透過視覺化輔助直觀理解。