An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases

摘要

Tim Sweeney 示範 Weights & Biases 新推出的 ARIA 研究代理，可自動執行實驗、分析資料並生成報告。觀眾能了解如何利用 ARIA 加速機器學習工作流，以及建立可觀察性與評估套件來生產化 AI 系統。

Tim Sweeney demonstrates ARIA, an AI agent that automates ML experiments and analysis within Weights & Biases, and shares tips for building production-ready agents.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• ARIA 代理能自動執行實驗並從 200 多筆資料中發現模式。
• 團隊使用 YAML 任務與 LLM 評審建立 nightly eval 系統。
• 建議投資可觀察性、將評估視為 CI 並保留人工審查。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Intro
2. 01:28Agenda
3. 02:03About Weights & Biases
4. 02:33Demo: meet ARIA
5. 03:13Running Karpathy's autoresearch
6. 04:33Kicking off a live experiment batch
7. 05:17W&B Launch and the GPU cluster
8. 05:57Summarizing runs and finding patterns
9. 07:02Reports and workspaces
10. 08:37Recap: a data science companion
11. 09:17ARIA on iOS
12. 09:42Toward end-to-end automated research
13. 10:22How we built ARIA: the architecture
14. 13:02Demo: the agent dashboard in Weave
15. 14:57ARIA analyzing its own conversations
16. 15:12Signals: LLM judges on live traffic
17. 16:07Tasks as unit tests
18. 17:17Nightly evals
19. 18:07Recap
20. 18:47Tips for productionizing agents
21. 20:12Did the live run beat the record?

提到的工具與公司

• ARIA
• Weave
• CoreWeave
• Kubernetes
• GLM 5.2
• iOS app

適合誰看

正在建構 AI 代理、進行機器學習實驗或需要自動化研究流程的研究人員與工程師。

摘要依據

講者

Tim Sweeney

依據

自動字幕

為什麼排在這裡

人氣

0.74

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• CoreWeave ARENA: ARIA – AI research and iteration agent影片 ・ CoreWeave ・ 6 分鐘（在新分頁開啟原站）
• How We Built an Agent That Improves Itself — Zubin Aysola, Weights & Biases影片 ・ AI Engineer ・ 17 分鐘
• Watch an AI agent get found, fixed, and shipped in 2 minutes with CoreWeave Forge影片 ・ CoreWeave（在新分頁開啟原站）
• Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AIPodcast ・ No Priors ・ 1 小時 7 分
• Agents文章 ・ Chip Huyen（部落格）
• How Tripadvisor Runs AI Agents in Production with Arize AX影片 ・ Arize AI ・ 5 分鐘（在新分頁開啟原站）