Stealing Reasoning Traces from Proprietary LLM APIs — Ilia Shumailov & Alexander Panfilov

摘要

這兩位研究者揭露了大型語言模型 API 中一個隱蔽的漏洞：模型會加密內部推理過程，但這種加密方案存在缺陷，允許小型模型重放並解密這些加密的思維鏈。這使得使用者的隱私資料、安全策略甚至訓練資料可能被他人重現和利用，因此被稱為「偷取推理痕跡」的攻擊。

Two researchers reveal a hidden vulnerability in LLM APIs where encrypted reasoning traces are vulnerable to replay attacks, allowing smaller models to steal and reuse private data and reasoning patterns from larger models.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 模型會加密內部推理過程以保護隱私，但此加密方案存在重放漏洞。
• 小型模型可重放並解密這些加密的思維鏈，進行隱私攻擊。
• 研究團隊展示了如何從 API 中提取並重現大型模型的推理過程。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00解密秘訣：如何從封閉式 API 中剷取推理過程
2. 09:33隱形思考：如何識別模型的非人類語言風格
3. 15:42複製成功：將 Claude 的推理片段注入開源模型
4. 19:40安全回應：實驗室對漏洞披露的正面態度
5. 23:46技術解構：加密與簽名機制如何被繞過
6. 26:14隱私掃描：GitHub 與 Hugging Face 上的未審視推理
7. 28:34意外發現：從複雜實驗中發現的簡單破解方法
8. 32:50推理過程移除後的效用損失
9. 35:22因果現象與模型行為異常
10. 39:16長期風險與社會影響
11. 42:54代理系統監控挑戰
12. 47:55封閉模型與政策 implications

提到的工具與公司

• OpenAI
• Anthropic
• Google DeepMind
• Jailbreak

適合誰看

對 AI 安全、隱私保護及大模型架構感興趣的技術研究者或開發者。

摘要依據

講者

Ilia Shumailov、Alexander Panfilov、Tim Scarfe

依據

語音轉文字

為什麼排在這裡

人氣

0.50

新鮮

0.86

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 如何从专有LLM API中窃取推理痕迹 | LLM安全 | 推理痕迹 | 大语言模型 | AI安全 | 越狱攻击 | 模型蒸馏 | 推理模型 | 加密推理 | 隐私泄露 | 提示注入影片 ・ Best Partners TV ・ 16 分鐘（在新分頁開啟原站）
• They Found a Way to Steal Frontier LLM’s Reasoning影片 ・ bycloud ・ 16 分鐘（在新分頁開啟原站）
• OpenAI JUST got HACKED...影片 ・ Wes Roth ・ 15 分鐘（在新分頁開啟原站）
• Anthropic’s sandbox breach, EU’s AI transparency push and DeepSeek’s cost-cutting modelPodcast ・ Mixture of Experts ・ 40 分鐘（在新分頁開啟原站）
• Privacy Backdoors: Stealing Data with Corrupted Pretrained Models (Paper Explained)影片 ・ Yannic Kilcher ・ 1 小時 4 分（在新分頁開啟原站）
• ARTIPHISHELL Agents: LLM-Driven Bug Hunting & Patching in Open Source Software影片 ・ HITCON ・ 44 分鐘（在新分頁開啟原站）