Evals for taste: Hill-climbing a slide-generation agent

摘要

介紹如何建立基於使用者回饋的評分系統，用於評估 AI 代理的品質、成本與延遲。透過定義具體的評分標準與自動化工具，讓開發者能即時發現問題並最佳化代理配置，避免盲目開發。

A talk on building a rubric-driven evaluation system to systematically measure and improve AI agent performance.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 建立可重放的評分系統，量化 AI 代理的品質與效能指標。
• 利用使用者不滿意訊號驅動開發迴圈，持續最佳化代理表現。
• 避免依賴模糊的主觀感覺，用具體資料驗證改進是否有效。

章節

依話題轉折切分，標題由 AI 產生

1. 00:19建立評估思維與實際應用目標
2. 05:07解決生產反饋盲點與主動迭代
3. 09:27介紹程式碼評分與雙重比較方法
4. 12:50定義代理環境與系統提示規則
5. 15:08實作 Emoji 計數等程式碼評分器
6. 30:21分析評分趨勢並升級模型策略
7. 32:37檢視高分結果與評分指標反思
8. 34:46LLM 評分自欺欺人與原因矛盾
9. 36:55法律檔案評估需防模型胡編亂造
10. 39:00感謝聆聽並結束本次演說

適合誰看

正在開發或使用 AI 代理、需要系統化評估與最佳化流程的工程師與產品經理。

摘要依據

依據

自動字幕

為什麼排在這裡

人氣

0.54

新鮮

0.59

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Aayush Agrawal - Evals: The Engine for Agent Improvement影片 ・ Berkeley RDI ・ 6 分鐘（在新分頁開啟原站）
• Demystifying evals for AI agents文章 ・ Anthropic Engineering Blog
• Why Your AI Agent Fails in Production (And How to Catch It)影片 ・ Google Cloud Tech ・ 26 分鐘（在新分頁開啟原站）
• Evals Skills for Coding Agents文章 ・ Hamel Husain（部落格）
• Agents文章 ・ Chip Huyen（部落格）
• Chenguang Wang - From Training to Evaluation: Open Recipes for Building Agentic AI at Scale AI影片 ・ Berkeley RDI ・ 12 分鐘（在新分頁開啟原站）