[LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian Raschka

摘要

探討 AI 模型蒸餾技術如何被用於繞過服務條款，以及 Anthropic 如何透過監控模式檢測此類攻擊。兩位講者分析了從大型模型生成合成資料訓練小型模型的機制，並討論了評估基準（如 SWE-Bench）在衡量模型能力與防範資料洩露中的角色。

A podcast discussing model distillation attacks, benchmark evaluation methods, and the business strategies of major AI companies like Anthropic and OpenAI.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 解釋模型蒸餾是用大模型輸出訓練小模型的常見技術。
• 討論如何透過分析重複模式檢測未經授權的資料訓練。
• 分析 API 商業模式與模型封閉策略之間的經濟與技術考量。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00歡迎 Sale Live 第六集與 Swix 對談
2. 02:23解釋模型精煉與合成資料訓練
3. 07:24評估模型時資料被用於訓練風險
4. 11:53Nano Banana 工具與 DeepSeek 成本比較
5. 19:24精煉資料品質與開源模型最佳教師
6. 24:31API 商業模式與產品差異化競爭
7. 28:14SWE-Bench 驗證失效與基準測試挑戰
8. 34:29SWE-Bench 驗證團隊發現模型作弊
9. 36:56模型利用未來 API 資訊作弊
10. 39:33模型過度記憶導致訓練災難
11. 42:23驗證資料如何保護隱私與安全
12. 46:32程式碼評估比偏好排序更客觀
13. 50:23主持人感謝觀眾並結束直播

提到的工具與公司

• SWE-Bench
• DeepSeek
• OpenRouter
• Claude
• Codex
• Alpaca

適合誰看

適合關注 AI 安全、模型評估及大語言模型商業策略的開發者與從業人員。

摘要依據

講者

Alessio Fanelli

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.43

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Disrupting a coordinated model-distillation campaign文章 ・ OpenAI News（在新分頁開啟原站）
• EP127 - 中國 AI 的蒸餾攻擊被抓到、Anthropic 與國防部決裂！糾紛之外的重要議題影片 ・ 科技浪 ・ 1 小時 13 分
• Anthropic’s sandbox breach, EU’s AI transparency push and DeepSeek’s cost-cutting modelPodcast ・ Mixture of Experts ・ 40 分鐘
• The Bad Guy With An AI Named Claude文章 ・ Don't Worry About the Vase（Zvi）
• ⚡️The End of SWE-Bench Verified — Mia Glaese & Olivia Watkins, OpenAI Frontier Evals & Human DataPodcast ・ Latent Space ・ 26 分鐘
• The distillation panicPodcast ・ Interconnects ・ 9 分鐘