Evaluating Agents Beyond the First Prompt

摘要

EvoCode-Bench 是一種新的多輪程式碼評估基準，透過持續的工作空間與演進的需求測試，揭露單一輪次分數會嚴重高估程式碼代理的可靠性。研究發現，回歸（破壞先前功能）而非缺少功能，才是代理失敗的真正瓶頸，且結構化的需求追蹤能顯著提升成功率。

EvoCode-Bench reveals that regressions, not missing features, are the main failure point for coding agents in multi-turn interactions.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 單一輪次分數嚴重高估程式碼代理在長期任務中的可靠性。
• 失敗主因是回歸破壞先前功能，而非無法實現新功能。
• 維持結構化需求文件可使代理成功率超過兩倍。

提到的工具與公司

• EvoCode-Bench
• UniPat-AI

適合誰看

正在開發或評估程式碼代理、需要設計長期穩定系統的研究人員與工程師。

摘要依據

講者

Philipp Schmid

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.75

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Wayve's Dave Kirk: Why Agentic Code Review Needs Evals影片 ・ AI Native Dev ・ 24 分鐘
• How to Evaluate and Test Agent Skills影片 ・ Alejandro AO
• Agent Evals 101: Stop Guessing, Start Measuring文章 ・ Decoding AI Magazine（Paul Iusztin）
• Agents Write 95% of Our Code. Here's the Catch影片 ・ AI Native Dev ・ 30 分鐘
• Evals Skills for Coding Agents文章 ・ Hamel Husain（部落格）
• Day 13 - 【實戰】放手修一個 bug文章 ・ 高見龍