Your LLM App Returned 200 OK. It Was Still Wrong. — Marina Petzel, Datadog

摘要

Marina Petzel 指出傳統監控指標無法反映生成式 AI 應用是否正確，必須新增成本、安全與品質監控層。內容涵蓋追蹤 token 消耗、提示注入與幻覺率等關鍵指標，並介紹 Datadog Agent Observability 作為整合解決方案。

Marina Petzel explains why traditional monitoring is insufficient for GenAI apps and introduces cost, safety, and quality metrics plus Datadog Agent Observability.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 傳統指標無法判斷生成式 AI 回應是否正確有用
• 需監控 token 異常增長、模型切換與未快取呼叫等成本問題
• 必須追蹤提示注入、隱私洩漏、幻覺率與使用者滿意度

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Intro
2. 00:12Golden signals aren't enough anymore
3. 01:12How GenAI apps are different
4. 02:22New attack vectors
5. 02:47Quality is subjective
6. 03:51Cost monitoring
7. 04:56Token creep, model drift, uncached calls
8. 06:55Cost attribution: tag everything
9. 09:15Safety metrics
10. 09:55Prompt injection, PII, toxicity, jailbreaks
11. 12:09Quality monitoring
12. 13:19Five quality metrics
13. 15:43Putting it all together
14. 16:38Datadog Agent Observability

提到的工具與公司

• Datadog
• GPT-5.5
• OpenAI
• Tropic
• Hi Cool 4.5
• Opus 4.8
• Bird

適合誰看

負責開發、監控或管理生成式 AI 應用的工程師與技術管理者。

摘要依據

講者

Marina Petzel

依據

自動字幕

為什麼排在這裡

人氣

0.86

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Taking a look under your agent’s hoodPodcast ・ The Stack Overflow Podcast ・ 33 分鐘 ・ 昨天
• From Blind Spots to Observability: Operationalizing LLM Apps with OpenLitPodcast ・ AI Engineering Podcast ・ 51 分鐘 ・ 2026/02/16
• What Is MLflow? Tracing AI Agents & LLM Workflows影片 ・ IBM Technology ・ 10 分鐘 ・ 3 週前
• Why Your LLM Evals Are Missing Critical Failures影片 ・ The TWIML AI Podcast with Sam Charrington ・ 2026/05/08
• LangSmith explained in 5 minutes影片 ・ LangChain ・ 6 分鐘 ・ 2 週前
• Logs Are All You Need: Rethinking Observability with AI Agents影片 ・ AAIF Live ・ 47 分鐘 ・ 約 2026 年 7 月

這個來源最近的內容

• Designing CLIs for Agents, Not Humans — Pedro Lopez, Airbyte今天 ・ 影片 ・ 18 分鐘
• From Context to Memory: Your Agents Need a Real Memory Layer — Anders Swanson, Oracle今天 ・ 影片 ・ 18 分鐘
• Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab昨天 ・ 影片 ・ 18 分鐘

AI Engineer 的所有內容