AI Safety...Ok Doomer: with Anca Dragan

摘要

主持人與 Google DeepMind 的 AI 安全負責人 Anca Dragan 探討建立安全 AI 模型的挑戰，強調安全需從設計初期融入，而非事後補救。對話涵蓋短期與長期風險、價值對齊的難題，以及利用公民會議等機制訓練模型模擬多元觀點的創新方法。

A podcast interview discussing the challenges of AI safety, alignment strategies, and the necessity of addressing existential risks in advanced models.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 安全必須從模型設計初期就融入，而非事後補救。
• 利用公民會議等機制訓練模型模擬多元觀點以達成對齊。
• 長期存在性風險不容忽視，需積極研究而非輕視。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00主持人介紹 Anca Dragan 及其職責
2. 02:46強調 AI 安全是當前最關鍵挑戰
3. 10:46探討人機互動與價值對齊機制
4. 13:13分析推薦系統中的最佳化與偏見問題
5. 15:56提出多目標獎勵函式平衡社會價值
6. 21:20介紹可擴展監督與 AI 辯論技術
7. 25:25說明安全覆蓋率與禁止自我傷害
8. 29:17前瞻識別未來 AI 潛在危害的思維
9. 33:35如何肩負人類史上最大的責任
10. 37:36訂閱播客並留言回饋

適合誰看

對 AI 安全、模型對齊或未來科技倫理感興趣的研究者、開發者或政策制定者。

摘要依據

講者

Hannah Fry

依據

語音轉文字

為什麼排在這裡

人氣

0.87

新鮮

0.05

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• #251 – The UK's former head AI safety scientist on how to solve alignment before superintelligence arrives | Geoffrey IrvingPodcast ・ 80,000 Hours Podcast ・ 2 小時 2 分
• The Ethics of AI Assistants with Iason GabrielPodcast ・ Google DeepMind: The Podcast ・ 44 分鐘
• One resignation turned the embers of AI fear into a wildfirePodcast ・ Interconnects ・ 11 分鐘
• Ep 88: Unpacking DeepMind's Quest for SuperIntelligence with Demis Hassabis' BiographerPodcast ・ Unsupervised Learning ・ 56 分鐘
• AI:AM Highlights: Zvi on Pacing & Trump-Xi, Astra better behaved than Fable? + a new LLM Pain Axis??Podcast ・ The Cognitive Revolution ・ 1 小時 42 分
• Ask the Mates Anything Round #2 | MOONSHOTS AMA #293Podcast ・ Moonshots ・ 1 小時 27 分