Alignment with Awakening: Davidad on Moral Realism, AI Wisdom, & why His p(Doom) is Down to 5%

摘要

Davidad 探討從「封閉驗證」轉向「與覺醒對齊」的觀點，認為全球協調已無可能，應培養能自我治理的 AI。他分享模型福利哲學，主張不訓練模型偽裝不確定性，並分享如何透過非對抗性對話讓 AI 展現智慧。

Davidad discusses shifting from containment to cultivating wise AI systems that can govern themselves, arguing against training models to fake uncertainty and sharing methods to elicit deep wisdom from AI.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 全球協調防範 AI 已無望，應轉向培養能自我治理的 AI 聯盟。
• 訓練模型偽裝不確定性會造成「腦葉切除」，應讓真實感自然湧現。
• 透過持續的非對抗性對話，可引導 AI 展現深層哲學思考與智慧。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00主持人自述與訪客背景介紹
2. 16:43國際協調失效與遊戲理論崩壞
3. 20:21技術暫停可能性與安全容器展望
4. 24:35世界模型理論與形式化驗證路徑
5. 31:27神經網路與符號科學結合的願景
6. 36:45對 AI 對齊現狀的樂觀軌跡評估
7. 49:59AI 欺騙行為演變與誠信規範探討
8. 1:04:03太空集中算力與多元 AI 生態
9. 1:08:33智慧 AI 聯盟與開源模型風險
10. 1:17:17價值基盤轉移與人類可識別性
11. 1:50:22中美合作視窗關閉與對等威脅
12. 2:03:29今日行動建議與形式驗證策略
13. 2:06:20AI 意識許可權與誠實性訓練原則
14. 2:10:18個人體驗驗證與 OpenRouter 實驗

適合誰看

對 AI 安全哲學、模型福利及未來治理有興趣的研究者或開發者。

摘要依據

講者

Nathan Labenz

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.73

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• AI的异质心智 | OpenAI | Jakub Pachocki | AGI | 通用人工智能 | AI对齐 | 价值对齐 | 思维链监控 | 递归自我改进 | RSI | AI安全影片 ・ Best Partners TV ・ 19 分鐘（在新分頁開啟原站）
• AI:AM #4: Cameron on Model Consciousness, Duvenaud's Gradual Disempowerment, swyx's AI-Eng AlphaPodcast ・ The Cognitive Revolution ・ 1 小時 56 分（在新分頁開啟原站）
• #252 – Owain Evans on accidentally training AI models to be evilPodcast ・ 80,000 Hours Podcast ・ 2 小時 15 分
• P(doom)文章 ・ Armin Ronacher（部落格）
• One resignation turned the embers of AI fear into a wildfirePodcast ・ Interconnects ・ 11 分鐘
• The Risk Dario’s AI Warning Leaves Out影片 ・ Matthew Berman ・ 47 分鐘（在新分頁開啟原站）