Rethinking Pre-Training for Agentic AI with Aakanksha Chowdhery - #759

摘要

Aakanksha Chowdhery 探討如何從根本上重新設計預訓練，以培養具備規劃、推理與工具學習能力的代理 AI，而非僅依賴後訓練調整。她指出靜態基準測試已不足以衡量模型在長程任務中的表現，並強調訓練資料分佈與損失函式的重要性。

Aakanksha Chowdhery discusses rethinking pre-training to build agentic AI with planning and reasoning capabilities beyond static benchmarks.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 靜態基準測試無法衡量代理 AI 在真實環境中的規劃與推理能力。
• 預訓練需關注長程上下文下的工具探索與錯誤恢復機制。
• 合成資料應保持與自然資料分佈一致，避免模型表現下降。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00從靜態指標轉向代理任務的預訓練重構
2. 08:28檢視注意力機制、訓練資料與損失函式
3. 11:18注意力需支援長期記憶與工具使用
4. 15:28將填補中間等技術融入預訓練流程
5. 18:25高品質資料與推理軌跡對效能的關鍵影響
6. 22:54合成資料成本與自然資料分佈的平衡
7. 25:39建立專屬基準測試以衡量模型真實能力
8. 31:08大模型需先達規模再轉為小模型
9. 33:40長程推理讓 AI 理解龐大程式碼庫
10. 37:47探討模型失敗後如何自我恢復
11. 43:54探討讓代理學習新工具的方法
12. 47:04跨領域推理是建構智慧基礎
13. 50:18透過評估缺口發現模型不足

適合誰看

正在開發或研究代理 AI、需要理解預訓練策略演進的開發者與研究者。

摘要依據

講者

Sam Charrington

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.33

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Chenguang Wang - From Training to Evaluation: Open Recipes for Building Agentic AI at Scale AI影片 ・ Berkeley RDI ・ 12 分鐘（在新分頁開啟原站）
• 97. 25年Q1大模型季报：和广密聊当下最大非共识、AGI的主线与主峰Podcast ・ 张小珺Jùn｜商业访谈录 ・ 2 小時 1 分（在新分頁開啟原站）
• Tushar Krishna - How Agentic AI Is Rewriting the Rules of AI Infrastructure影片 ・ Berkeley RDI ・ 5 分鐘（在新分頁開啟原站）
• We Tested the New Wave of Personal AI Agents影片 ・ a16z ・ 50 分鐘（在新分頁開啟原站）
• E201｜OpenAI挑战通用型AI Agent，聊聊Agent的底层架构、AGI转折点与RL人才分布Podcast ・ 硅谷101 ・ 1 小時 20 分（在新分頁開啟原站）
• How to Build Long-Horizon AI Agents — Mitch Troyanovsky, BasisPodcast ・ The MAD Podcast ・ 1 小時 23 分