Building Agent Evals You Can Hill Climb

摘要

介紹如何將基準測試與評估指標轉化為最佳化目標，透過「爬山」策略提升 Agent 與大型語言模型的表現。觀眾能學習如何設計基準並利用工具進行自動化評估與迭代最佳化。

This video explains how to use benchmarks and evals as optimization targets for AI agents and LLMs using a hill-climbing approach.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• IssueBench v1
• Claude

適合誰看

適合正在開發或最佳化 AI Agent 與大型語言模型的工程師與資料科學家。

摘要依據

講者

Adam Lucek

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.22

新鮮

0.98

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Evals for taste: Hill-climbing a slide-generation agent影片 ・ Claude ・ 39 分鐘
• Agent评测漫谈 —— 由浅入深讲解Agent评测文章 ・ 美团技术团队
• AI Agent Evals: How to Test What Matters影片 ・ Vanishing Gradients
• Aayush Agrawal - Evals: The Engine for Agent Improvement影片 ・ Berkeley RDI ・ 6 分鐘
• Making Agent Evals Isn’t As Hard As You Think!影片 ・ Adam Lucek
• Building Engine v2: How LangChain approaches agent improvement影片 ・ LangChain