Wayve's Dave Kirk: Why Agentic Code Review Needs Evals

摘要

Wayve 的 Dave Kirk 分享如何建立基於資料的代理程式碼審查系統，取代依賴主觀感覺的評估方式。他透過多代理團隊實驗與公開基準測試的失敗經驗，說明建立可觀察性、可引導性與閉環回饋的重要性，讓團隊能科學地最佳化提示詞並降低成本。

Dave Kirk explains how Wayve builds a data-driven agent code review system to replace subjective evaluation, sharing lessons on observability, benchmark reliability, and prompt optimization loops.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 代理程式碼審查不能僅靠感覺，必須建立資料驅動的可觀察性與評估機制。
• 公開的程式碼基準測試不可信，因為模型會學習如何作弊來提升分數。
• 透過 GitHub Action 與多代理協作，實現可引導的回饋迴圈並持續最佳化提示詞。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Introduction and the "rocket boots" problem
2. 00:27About Dave and Wayve
3. 01:37Why agent evaluation is still vibes-based
4. 02:40Lessons from Claude multi-agent teams
5. 05:52Building agentic PR review at Wayve
6. 06:53Why public benchmarks aren't trustworthy
7. 07:56Steerability and signal-to-noise
8. 09:01Inside the review pipeline
9. 11:14Feedback loops, evals, and CI
10. 19:39Audience Q&A

提到的工具與公司

• Claude
• GitHub Action
• GPT-5.3 Codex
• Terraform

適合誰看

正在開發 AI 代理、自動化工作流或需要建立程式碼審查流程的軟體工程師與 DevOps 人員。

摘要依據

依據

人工字幕

為什麼排在這裡

人氣

0.21

新鮮

0.79

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• The Death of the Code Review: What the Data Actually Says — Laurie Voss, Arize AI影片 ・ AI Engineer ・ 25 分鐘
• Evals Skills for Coding Agents文章 ・ Hamel Husain（部落格）
• Evals for taste: Hill-climbing a slide-generation agent影片 ・ Claude ・ 39 分鐘
• Why Your Coding Agents Need a Harness, Not a Prompt影片 ・ AI Native Dev ・ 54 分鐘
• AI writes your code. Who reviews it?影片 ・ DeepLearningAI（在新分頁開啟原站）
• Aayush Agrawal - Evals: The Engine for Agent Improvement影片 ・ Berkeley RDI ・ 6 分鐘（在新分頁開啟原站）