How to Find the Agent Failures Your Evals Miss with Scott Clark - #767

摘要

探討如何透過觀察性層級（Telemetry、Monitoring、Analytics）發現 AI 代理在生產環境中的隱形失敗。講者 Scott Clark 指出，傳統評估指標往往無法捕捉如「工具使用濫用」等未預期的行為，因為這些行為發生在推理步驟而非工具呼叫。透過向量印跡與分佈分析，系統能自動識別這些模式並提出修復建議，從而建立自適應的資料飛輪，讓 AI 系統在生產中持續自我最佳化。

Scott Clark explores a three-layer observability framework (Telemetry, Monitoring, Analytics) to uncover hidden failures in production AI agents. He highlights common pitfalls like tool-use hallucinations and non-stationary behaviors, demonstrating how vector-based analytics can automatically detect…

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Scott Clark 提出三層觀察性架構：Telemetry 用於基礎記錄，Monitoring 用於即時監控已知訊號，Analytics 用於發現未知未知數
• 常見失敗案例包括工具呼叫濫用（假裝呼叫但實際未執行）及模型在生產環境中的非穩定性
• 系統透過向量印跡與分佈分析自動識別異常模式，並自動生成修復建議以自適應最佳化

章節

依話題轉折切分，標題由 AI 產生

1. 27:34評估假陽性與假陰性的權重失衡
2. 30:10建立可追蹤的開源 telemetry 路徑
3. 32:44從低垂果實到自動學習迴圈
4. 35:06動態模型分佈下的線上評估必要性
5. 39:00透過天氣報告類比理解監控訊號
6. 51:24整合多工具呼叫的監控策略

提到的工具與公司

• OpenTelemetry
• GenAI semantic conventions
• Clustering

適合誰看

AI 工程師、系統開發者、希望提升 AI 代理生產可靠性的團隊負責人

摘要依據

講者

Sam Charrington

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.57

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Stop YOLO-ing AI Observability: Building Production-Ready Agents | Arize x AWS影片 ・ Arize AI ・ 4 分鐘（在新分頁開啟原站）
• Introducing CoreWeave Agent Lens影片 ・ CoreWeave（在新分頁開啟原站）
• Logs Are All You Need: Rethinking Observability with AI Agents影片 ・ AAIF Live ・ 47 分鐘
• What Is MLflow? Tracing AI Agents & LLM Workflows影片 ・ IBM Technology ・ 10 分鐘（在新分頁開啟原站）
• Why Your AI Agent Fails in Production (And How to Catch It)影片 ・ Google Cloud Tech ・ 26 分鐘（在新分頁開啟原站）
• How Tripadvisor Runs AI Agents in Production with Arize AX影片 ・ Arize AI ・ 5 分鐘（在新分頁開啟原站）