Prefix cache | AI Coding Dictionary

摘要

Prefix cache 是一種伺服器側機制，讓連續請求能跳過重複處理共享的字首，以更低速率計費。當請求起始點與最近一次相同時，系統會重用先前工作並計費為低價的「快取 token」。

Prefix cache is a server-side mechanism that skips reprocessing shared prefixes for consecutive requests, billing at a lower rate. When a request starts where a recent one did, the system reuses prior work and charges for cache tokens instead of full tokens.

重點

• Prefix cache 讓連續請求跳過重複處理共享字首，降低計費。
• 當請求起始點與最近一次相同時，系統重用先前工作並計費為低價。
• 快取 token 比正常 token 便宜，但過期後會重新計算。

適合誰看

程式開發者、AI 模型呼叫者、系統架構師。

摘要依據

講者

Matt Pocock

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Cache tokens | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Prompt Caching Explained: Stop Overpaying for AI Agents影片 ・ Hugging Face ・ 17 分鐘（在新分頁開啟原站）
• Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对文章 ・ 寶玉
• 加快語言模型生成速度 (2/2)：KV Cache影片 ・ Hung-yi Lee ・ 39 分鐘（在新分頁開啟原站）
• Anthropic 最新分享：Claude Code 提示词缓存的最佳实践影片 ・ code秘密花园 ・ 12 分鐘（在新分頁開啟原站）
• Jongryool Kim - Disaggregated LLM Serving with Shared Memory KV Cache at Rack Scale影片 ・ Berkeley RDI ・ 5 分鐘（在新分頁開啟原站）