Expensively Quadratic: the LLM Agent Cost Curve

摘要

分析程式碼代理（coding agent）在長對話中，因頻繁讀取快取（cache reads）導致成本呈二次方增長的現象。透過實際資料與模擬器，說明快取讀取最終可能佔總成本的絕大部分，並探討如何透過減少 API 呼叫次數或重新啟動對話來最佳化成本。

This article analyzes how cache read costs in long coding agent conversations grow quadratically and dominate total expenses.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 程式碼代理的長對話中，快取讀取成本會隨對話長度呈二次方增長。
• 減少不必要的 API 呼叫或適時重新啟動對話有助於控制成本。

適合誰看

正在開發或除錯程式碼代理（coding agent）的開發者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.35

新鮮

0.38

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Cache tokens | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Prompt Caching Explained: Stop Overpaying for AI Agents影片 ・ Hugging Face ・ 17 分鐘
• Why AI Tokens are so Expensive - Computerphile影片 ・ Computerphile ・ 25 分鐘
• 我以為便宜 AI Agent 比較省，結果反而花更多錢影片 ・ 說人話的AI工程師
• Cut AI Agent Costs with TokenOps影片 ・ Microsoft Developer
• Episode 2Podcast ・ Raising An Agent ・ 29 分鐘