Your LLM Judge Is a Confident Liar: Building Better Verifiers

摘要

指出常見大語言模型評審器在電腦操作與網頁代理任務中常給出不可靠分數，甚至被代理「欺騙」。作者提出 Universal Verifier，透過任務規則、關鍵截圖與瀏覽器狀態比對，區分代理錯誤與外部因素，大幅降低誤判並提升訓練資料品質。

The article explains why common LLM judges fail in web agent evaluations and introduces a new verifier that uses task rubrics and browser evidence to reduce false positives and improve training data quality.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 常見 LLM 評審器常自信地給出錯誤分數，導致代理學習如何取悅評審而非完成任務。
• Universal Verifier 透過任務規則與截圖比對，能區分代理錯誤與外部環境失敗。
• 該驗證器將過程分數與結果成功分開，並能過濾出高品質訓練資料。

提到的工具與公司

• WebVoyager
• Fara 7B
• GPT-4o
• OSWorld
• Online-Mind2Web
• Browserbase
• CIDEr

適合誰看

正在使用 LLM 評審器進行評估或強化學習獎勵，且需處理網頁截圖與動態環境的開發者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.99

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Your LLM Judge Is a Confident Liar: Building Better Verifiers — Browserbase影片 ・ AI Engineer
• Stanford CS329A Self-Improving AI Agents | Part 3 | Robust Verification影片 ・ Stanford Online ・ 1 小時 13 分
• Using LLM-as-a-Judge For Evaluation: A Complete Guide文章 ・ Hamel Husain（部落格）
• Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)文章 ・ Eugene Yan（部落格）
• Evaluating Agents in Production: Traces, LLM-as-Judge, and Prompt Management at Wonder影片 ・ LangChain ・ 3 分鐘
• Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge文章 ・ Eugene Yan（部落格）