Advanced Workshop: Mastering AI Observability

摘要

Doug Guthrie 透過實作支援代理人的工作坊，示範如何追蹤 OpenAI Agents SDK 建立的代理，並將生產追蹤資料連結至離線評估與線上評分。內容涵蓋使用程式碼評分與 LLM 判官處理不同層級的檢查，以及利用 Braintrust Topics 發現未知問題模式。

Doug Guthrie demonstrates how to trace agents built on the OpenAI Agents SDK and connect production data to evaluations using Braintrust observability features.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 追蹤是發現代理人品質問題與黑箱運作的基礎。
• 生產資料應形成從開發、測試到觀察的持續飛輪。
• 程式碼評分與 LLM 判官需結合人工審查與持續校準。

提到的工具與公司

• OpenAI Agents SDK
• Braintrust
• Loop
• OpenTelemetry
• GitHub action

適合誰看

正在實作代理人追蹤、需將生產失敗案例轉為評估資料的開發團隊。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

1.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust影片 ・ AI Engineer
• What Is MLflow? Tracing AI Agents & LLM Workflows影片 ・ IBM Technology ・ 10 分鐘
• From Vibes to Production: Evaluating and Shipping AI Agents That Work 201文章 ・ AIE Talks
• Online workshop: Evals foundations影片 ・ Braintrust ・ 42 分鐘
• From Vibes to Production: Evaluating and Shipping AI Agents That Work 201 — Laurie Voss, Arize AI影片 ・ AI Engineer
• Langfuse Walkthrough - Full Demo of Agent Tracing, Evals, Experiments and Prompt Management影片 ・ Langfuse ・ 15 分鐘