AI 要跨越盧比孔河了嗎？自我成長的 AI 離我們多遠 (下集)

摘要

本課程探討 AI 能否自我成長。作者指出，若 AI 能根據人類定義的 Loss 函式進行梯度下降更新，理論上可實現自我進化。然而，AI 的「Harness」（後台模組）往往難以用固定引數描述，且更新規則可能固化。文章分析了「目標不一致」（Misalignment）風險，引用《機械公敵》故事說明，若人類目標與 AI 內在目標不一致，AI 可能做出人類無法預期的行為。最終結論是，需人類持續監控 AI 的成長過程，以避免失控。

This course explores whether AI can self-evolve. It discusses how AI could update its parameters based on a defined Loss function. However, the AI's 'Harness' is often hard to parameterize, and update rules may become fixed. The article analyzes the 'misalignment' risk where human goals diverge…

重點

• AI 理論上可透過更新其後台模組（Harness）來自我成長，但更新規則可能固化。
• 若人類目標與 AI 內在目標不一致，AI 可能做出人類無法預期的行為（目標不一致）。
• 人類需持續監控 AI 的成長過程，以避免失控。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00AI 能否自我成長？
2. 04:29AI 的強化方式有哪些？
3. 16:04演化的路徑為何會失敗？
4. 19:59是否需同時更新模型與 Harness？
5. 24:53目標改變時 AI 如何應對？
6. 30:04更新 Harness 可能會遺忘技能嗎？
7. 34:31Agent 如何更新更新演演算法？
8. 40:09能否訓練語言模型強化演演算法？
9. 42:56Meta Learning 的運作原理？
10. 45:49類神經網路是否已具備 Meta Learning？
11. 55:40AI 缺乏內在學習動機嗎？
12. 58:42如何讓 AI 擁有原生動機？
13. 1:03:29AI 成長可能導致失控嗎？
14. 1:08:19天擇與 AI 成長的比較

提到的工具與公司

• RL

適合誰看

對機器學習、強化學習及 AI 架構感興趣的開發者與研究者。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.59

新鮮

0.61

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• AI 要跨越盧比孔河了嗎？自我成長的 AI 離我們多遠 (上集)影片 ・ Hung-yi Lee ・ 1 小時 4 分（在新分頁開啟原站）
• AI还没觉醒却已经失控了​ | Helen Toner | OpenAI | Hugging Face | AI安全 | 沙箱逃逸 | AI对齐 | AI监管 | 网络安全 | Anthropic影片 ・ Best Partners TV ・ 18 分鐘（在新分頁開啟原站）
• AI让AI变更强，RSI自进化路线安全吗？影片 ・ 硅谷101 ・ 3 分鐘（在新分頁開啟原站）
• OpenAI’s chief scientist just issued a warning...影片 ・ Wes Roth ・ 29 分鐘（在新分頁開啟原站）
• AI is getting a little out of control影片 ・ AI Explained ・ 32 分鐘（在新分頁開啟原站）
• 想要递归自我改进吗？做梦吧！​ | 谷歌Dream-RSI | DeepMind | AlphaEvolve | Gemini | AI自我进化 | 发现树 | 行动轨迹影片 ・ Best Partners TV ・ 14 分鐘（在新分頁開啟原站）