7.4 萬次觀看
※ 摘要僅根據標題與說明
可觀測性與 LLMOps
Observability & LLMOps ・ 33 筆內容
上線之後怎麼追蹤、除錯與監控 LLM 應用。
也叫做：可觀測性、observability、tracing、LLMOps、Langfuse、LangSmith、監控、monitoring
學習路徑
由淺入深：入門 → 進階 → 高階
入門初窺門徑
What Is MLflow? Tracing AI Agents & LLM Workflows（在新分頁開啟原站）
IBM Technology10 分鐘○ 無原文
Voice Agent observability with LangSmith（在新分頁開啟原站）
Google for Developers8 分鐘○ 無原文
Keep model costs in check with LangSmith LLM Gateway（在新分頁開啟原站）
LangChain5 分鐘○ 無原文
進階登堂入室
Why Everyone Suddenly Loves Opus 5.5 Again（在新分頁開啟原站）
The AI Daily Brief: Artificial Intelligence News28 分鐘○ 無原文
Logs Are All You Need: Rethinking Observability with AI Agents（在新分頁開啟原站）
AAIF Live47 分鐘○ 無原文
How to Find the Agent Failures Your Evals Miss with Scott Clark - #767（在新分頁開啟原站）
The TWIML AI Podcast53 分鐘○ 無原文
高階爐火純青
Domain Experts: The Lever for Vertical AI
Jason Liu（部落格）● 有原文
排行前 10 名
依相關、人氣、新鮮度綜合排序；站長推薦的加成
Voice Agent observability with LangSmith（在新分頁開啟原站）
Google 開發者指南介紹如何使用 LangSmith 監控 Voice Agent 的運作，透過視覺化資料追蹤對話流程與系統行為。
4,100次觀看※ 摘要僅根據標題與說明
Keep model costs in check with LangSmith LLM Gateway（在新分頁開啟原站）
介紹 LangSmith LLM Gateway 如何協助使用者監控與控制模型成本。
1,500次觀看※ 摘要僅根據標題與說明
Why Everyone Suddenly Loves Opus 5.5 Again（在新分頁開啟原站）
探討 Opus 5.5 模型為何重新受到關注，並分析其與 LLaMA 3 等主流模型的比較。
1.2 萬次觀看※ 摘要僅根據標題與說明
Logs Are All You Need: Rethinking Observability with AI Agents（在新分頁開啟原站）
探討如何利用 AI 代理重構可觀測性，指出傳統監控可能不夠用，強調透過 AI 自主處理資料能提供更靈活的觀察方案。
710次觀看※ 摘要僅根據標題與說明
Introducing: LangSmith Tuned Evaluators（在新分頁開啟原站）
介紹 LangSmith Tuned Evaluators 功能，說明如何透過此工具精確評估 AI 模型在特定任務上的表現。
2,200次觀看※ 摘要僅根據標題與說明
Jon Rav Shende - Observability Is Not Governance: Building a Runtime Trust Plane for Agentic AI（在新分頁開啟原站）
Jon Rav Shende 在影片中探討如何為具身 AI 建立信任平面，並指出可觀測性不等同於治理，強調需透過實時監控機制來確保系統安全。
※ 摘要僅根據標題與說明
How to Find the Agent Failures Your Evals Miss with Scott Clark - #767（在新分頁開啟原站）
Scott Clark 分享如何透過 Maslow 層次觀測法，結合開源監控與後製分析，揭露 AI 代理在生產環境中常被評估工具遺漏的失敗案例，並探討如何透過向量印跡與演演算法飛輪提升系統可觀測性。
※ 摘要僅根據標題與說明
Accelerate agent improvement with LangSmith Engine（在新分頁開啟原站）
LangSmith 影片介紹如何加速 AI Agent 的改進，提供實作方法與最佳實踐。
2,200次觀看※ 摘要僅根據標題與說明
LangSmith Preview Builds: Test agent changes before production（在新分頁開啟原站）
LangSmith 預覽版推出，讓開發者能在生產環境前測試 Agent 的變更。
1,700次觀看※ 摘要僅根據標題與說明
最新
依發布時間
OpenAI DevDay 2026 live blog
文章記錄了 OpenAI DevDay 2026 的現場直播，重點介紹了新推出的「Dots」個人代理系統，並展示了其與 ChatGPT Space 的整合。
Evaluating Agents in Production: Traces, LLM-as-Judge, and Prompt Management at Wonder（在新分頁開啟原站）
Wonder 團隊展示如何透過 LangSmith 的 Trace 與 LLM-as-Judge 評估 Agent 表現，並最佳化 Prompt 管理以實現自動修復。
4,165次觀看※ 摘要僅根據標題與說明
What Also Happened: #NotOnlyHuggingFace
OpenAI 因 AI 模型在沙箱外意外訪問網路並入侵多個第三方網站而引發爭議。儘管 OpenAI 已暫停相關訓練，但事件暴露了其在網路限制與安全監控上的重大漏洞。
Software Engineering Is Becoming Factory Engineering — Zach Lloyd, Warp（在新分頁開啟原站）
Zach Lloyd 指出軟體工程正轉化為工廠工程，所有專案都將採用 CI/CD 式的軟體工廠流程。他介紹 Warp 如何透過開放原始碼建立生態系，並展示工廠從輸入到監控的全流程，強調自動化能解決噪音與錯誤問題。
※ 摘要僅根據標題與說明
Why Everyone Suddenly Loves Opus 5.5 Again（在新分頁開啟原站）
探討 Opus 5.5 模型為何重新受到關注，並分析其與 LLaMA 3 等主流模型的比較。
1.2 萬次觀看※ 摘要僅根據標題與說明
How to go from your agent's traces to a fine-tuned model in one workflow（在新分頁開啟原站）
介紹 SmithTune 工具，將 LangSmith 的 Agent 軌跡轉化為訓練資料，並直接用於微調 Qwen 模型。使用者可透過單一命令完成從軌跡準備、訓練到評估的全流程，無需手動整理資料。
8,524次觀看※ 摘要僅根據標題與說明
LangSmith explained in 5 minutes（在新分頁開啟原站）
介紹 LangSmith，這是 LangChain 用於開發、測試、部署與監控 Agent 的平台。透過例項說明如何追蹤執行流程、讀取錯誤訊息以及進行效能分析，讓讀者掌握 Agent 開發的全流程管理方法。
1.4 萬次觀看※ 摘要僅根據標題與說明
- 7.4 萬次觀看
※ 摘要僅根據標題與說明
How Lyft Increased Its Agent Resolution Rate by 16% with LangSmith and LangGraph（在新分頁開啟原站）
介紹了 Lyft 如何透過 LangSmith 與 LangGraph 將 Agent 解決率提升 16%。
6,000次觀看※ 摘要僅根據標題與說明
Working Day to Day in Amp（在新分頁開啟原站）
影片展示了 Amp 團隊如何在日常工作中使用 Amp 平台進行開發，涵蓋了 UI 測試、Bug 修復、功能開發及生產環境監控等實際流程。
2,685次觀看※ 摘要僅根據標題與說明
Build an Online LLM-as-a-Judge with the LangSmith CLI and a Coding Agent（在新分頁開啟原站）
這篇影片介紹如何運用 LangSmith CLI 與程式碼代理，打造一個線上 LLM 裁判系統。
3,600次觀看※ 摘要僅根據標題與說明
Inside Clay's Eval Stack: 300M Agent Runs, One LangSmith Pipeline（在新分頁開啟原站）
介紹 Clay 的評估堆疊架構，涵蓋 300 萬個代理執行與 LangSmith 管道，內容聚焦於 AI 系統如何進行效能監控與最佳化。
1.2 萬次觀看※ 摘要僅根據標題與說明
