Token | AI Coding Dictionary

摘要

Token 是 AI 模型讀寫的基本單位，約為一個英文單字的 3/4。它決定了模型的上下文視窗大小、計算成本與延遲。文章解釋了 tokenizer 如何將文字轉為 token，並指出程式碼與自然語言在 token 數量上的差異，強調避免使用「word」而應關注 token 數量。

Token is the atomic unit a model reads and writes, roughly 3/4 of an English word. It determines context window size, cost, and latency. The article explains how tokenizers convert text into tokens, highlighting the significant difference in token counts between code and natural language.

重點

• Token 是 AI 模型的原子單位，決定了上下文與成本。
• 程式碼與自然語言的 token 數量差異巨大，需特別注意。
• 計算延遲與成本皆以 token 為單位，而非字數。

適合誰看

程式開發者、AI 模型調優人員、資料科學家。

摘要依據

講者

Matt Pocock

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Token 到底是什么？—— 揭秘大模型背后的“文字压缩术”影片 ・ 马克的技术工作坊 ・ 11 分鐘（在新分頁開啟原站）
• Input tokens | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Context window | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Understanding the Llama 3 Tokenizer | Llama for Developers影片 ・ AI at Meta ・ 25 分鐘（在新分頁開啟原站）
• Most devs don't understand how LLM tokens work影片 ・ Matt Pocock ・ 11 分鐘（在新分頁開啟原站）
• tokenizers v1: encode, decode and scaling, measured文章 ・ Hugging Face Blog