Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin

摘要

探討如何讓 AI 模型具備持續學習能力，將新資訊深度內化為權重而非僅儲存在外部上下文。Engram 提出透過訓練團隊級別的模型，將個人工作空間的長期上下文轉化為可持續學習的資料訊號。影片指出，這種方法能減少重複讀取資料的計算成本，並讓模型在推理時直接利用已內化的知識，從而提升效能。

The video explores how AI models can achieve continual learning by deeply internalizing new information into weights rather than storing it in external context. Engram proposes training team-level models to convert long-term workspace context into data signals for continuous learning. This approach…

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Engram 透過訓練團隊級別模型，將長期工作空間的上下文轉化為持續學習的資料訊號。
• 方法能減少重複讀取資料的計算成本，並讓模型在推理時直接利用已內化的知識。
• 透過外部化工具與內部化記憶的結合，提升 AI 在知識工作領域的效能。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Engram 的訓練哲學：不依賴預訓練或後訓練
2. 08:44記憶與學習的辯證：抽象概念 vs 事實記憶
3. 12:25從演算法到資料：如何區分重要資訊的記憶
4. 14:54個人模型與巨頭：打破巨頭壟斷的願景
5. 20:54生物學啟發：模擬人類記憶的機制
6. 24:29RAG 與權重更新：兩者是否互斥
7. 29:02權重中的隱性知識：超越關鍵字搜尋
8. 31:29GitHub Copilot 與 ChatGPT 如何成為記憶學習的里程碑
9. 36:18語言與視覺領域的崛起：語言如何超越視覺優勢
10. 41:53未來知識工作：個人化模型與情感外化
11. 44:14結尾：視覺與語言的融合與個人化模型展望

提到的工具與公司

• Engram
• Notion
• Microsoft

適合誰看

知識工作者、AI 研究者、持續學習技術開發者。

摘要依據

依據

語音轉文字

為什麼排在這裡

人氣

0.59

新鮮

0.70

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Why Models Are AI’s Next Training Dataset with Damian Borth - #772Podcast ・ The TWIML AI Podcast ・ 47 分鐘
• 8 Predictions for the Era of Continual Learning文章 ・ Dwarkesh Patel ・ 9 分鐘
• Continual Learning: How AI Agents Get Better With Every Use | Arjun Karanam, Trajectory影片 ・ Sequoia Capital ・ 22 分鐘（在新分頁開啟原站）
• TransformerFAM: Feedback attention is working memory影片 ・ Yannic Kilcher ・ 37 分鐘（在新分頁開啟原站）
• Agent Memory EXPLAINED - Complete Architecture影片 ・ Hugging Face ・ 29 分鐘（在新分頁開啟原站）
• Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again影片 ・ Sequoia Capital ・ 54 分鐘