Evaluating Agents in Production: Traces, LLM-as-Judge, and Prompt Management at Wonder

摘要

Wonder 團隊分享如何將人工除錯改為使用 LangSmith 追蹤與 LLM 評分，並透過自動化回饋迴圈最佳化提示詞管理。觀眾可學習如何建立可擴展的 AI 應用評估與維護流程。

Wonder team shares how they automated agent evaluation and prompt management using LangSmith and LLM-as-judge.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• LangSmith

適合誰看

負責開發或最佳化生成式 AI 應用與提示詞管理的工程師與產品經理。

摘要依據

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.63

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Introducing: LangSmith Tuned Evaluators影片 ・ LangChain ・ 4 分鐘
• Catch Agent Regressions Before You Ship: Evals for Managed Deep Agents影片 ・ LangChain ・ 9 分鐘
• The Self-Improving OSS Agent Stack — Marc Klingen, Langfuse影片 ・ AI Engineer
• Using LLM-as-a-Judge For Evaluation: A Complete Guide文章 ・ Hamel Husain（部落格）
• Langfuse Walkthrough - Full Demo of Agent Tracing, Evals, Experiments and Prompt Management影片 ・ Langfuse ・ 15 分鐘
• Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)文章 ・ Eugene Yan（部落格）