The next big breakthrough will be AIs learning on the job

摘要

探討了實驗室正在押注的「在職學習」（On-the-job learning）策略，即透過在成千上萬個不同的 RL 環境中進行訓練，讓 AI 具備解決開放任務的能力。作者指出，雖然目前的 AI 在訓練階段樣本效率極低，但透過模擬環境或上下文學習，可以彌補這一缺陷。文章進一步分析了在職學習的挑戰，如非穩定環境和缺乏可重現的驗證目標，並提出了如 OPSD（在職自蒸餾）等技術，將 Session 中獲得的經驗壓縮回權重中，以實現持續學習。

This article explores the 'on-the-job learning' strategy where labs bet on training AI across thousands of diverse RL environments to achieve AGI. It addresses the challenge of sample inefficiency in training and proposes techniques like OPSD to distill session-based experience into weights for real…

重點

• 實驗室正在押注 AI 透過在萬個 RL 環境中訓練來獲得通用問題解決能力。
• 目前 AI 訓練樣本效率極低，但透過模擬環境或上下文學習可彌補此缺陷。
• 在職學習面臨非穩定環境和缺乏可重現驗證目標的挑戰。

提到的工具與公司

• RLVR
• OPSD
• KV Cache
• Distillation
• RL

適合誰看

程式開發者、AI 研究人員、對持續學習技術感興趣的技術職能人員。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.69

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Ep 81: Ex-OpenAI Researcher On Why He Left, His Honest AGI Timeline, & The Limits of Scaling RLPodcast ・ Unsupervised Learning ・ 1 小時 3 分（在新分頁開啟原站）
• Should You Train Your Own Model?影片 ・ Mastra ・ 24 分鐘（在新分頁開啟原站）
• Curriculum for Reinforcement Learning文章 ・ Lilian Weng（部落格）
• RL Environments Explained: How AI Agents Learn Real-World Work | Brendan Foody, Mercor影片 ・ Sequoia Capital ・ 26 分鐘（在新分頁開啟原站）
• Build Better AI Agents with RL & Fine-Tuning (Kyle from OpenPipe)影片 ・ AI Tinkerers ・ 51 分鐘（在新分頁開啟原站）
• The Startup Powering The Data Behind AGIPodcast ・ Gradient Dissent ・ 56 分鐘（在新分頁開啟原站）