Claude’s new auto eval tool

摘要

介紹了 Anthropic 為 Claude Code 開發的新自動評測工具，包含「hill-climb」命令協助使用者建立評測、檢查評分器並提升應用程式表現。作者指出工具常催促使用者先建立評測，且缺乏足夠上下文進行驗證，導致理解資料困難。此外，評測範圍過廣且描述混亂，難以理解具體邏輯。儘管能發現人類交接等問題，但建議先透過資料分析再決定評測策略。

This article introduces Anthropic's new automatic evaluation tool for Claude Code, featuring a 'hill-climb' command to build, test, and improve evaluations. The author highlights issues like premature evaluation creation, lack of context, and overly broad scopes that hinder understanding data and…

重點

• Anthropic 為 Claude Code 新增自動評測工具，含建立、檢查與改善評測功能。
• 工具常催促先建立評測，且缺乏足夠上下文驗證，易導致理解資料困難。
• 評測範圍過廣且描述混亂，建議先透過資料分析再決定評測策略。

提到的工具與公司

• build_eval

適合誰看

程式開發者、希望提升 AI 應用程式評測效能的技術人員。

摘要依據

講者

Hamel Husain

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.99

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Trying the new Claude Eval tool影片 ・ Hamel Husain ・ 59 分鐘（在新分頁開啟原站）
• 8 Claude Code skills I use for building better AI evals影片 ・ Hamel Husain ・ 12 分鐘（在新分頁開啟原站）
• How to Build Better AI Evals with Claude Code in 5 Steps | Shreya & Hamel影片 ・ Peter Yang ・ 54 分鐘（在新分頁開啟原站）
• Designing AI resistant technical evaluations文章 ・ Anthropic Engineering Blog
• Building verification loops in Claude Code影片 ・ Claude ・ 3 分鐘（在新分頁開啟原站）
• An update on recent Claude Code quality reports文章 ・ Anthropic Engineering Blog