ttok 1.0

摘要

作者宣佈推出 ttok 1.0 版本，修正了該工具預設使用 GPT-4 分詞器的問題，改為預設使用 GPT-5 或 GPT-6 的分詞器。文章引用 William Liu 的實驗資料，確認 GPT-6 與 GPT-5 系列使用相同的分詞器，且 token 數量未變。

The author releases ttok 1.0 to fix the default tokenizer from GPT-4 to GPT-5/6, citing experimental data confirming consistency across models.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• ttok 工具從 GPT-4 分詞器改為 GPT-5/6 預設。
• 引用實驗證實 GPT-6 與 GPT-5 系列分詞器相同。
• GPT-6 在此資料集上未改變輸入 token 數量。

提到的工具與公司

• GPT-4
• GPT-5
• GPT-6

適合誰看

正在開發或除錯與 OpenAI 大型語言模型相關工具程式的開發者。

摘要依據

講者

Simon Willison

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

1.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• ttok 0.4文章 ・ Simon Willison's Weblog ・ 昨天
• Let's build the GPT Tokenizer影片 ・ Andrej Karpathy ・ 2 小時 14 分 ・ 2024/02/21
• GPT 6 省 token Tips文章 ・ luozhiyun's Blog ・ 3 週前
• Build Hour: Valuemaxxing with GPT-5.6影片 ・ OpenAI ・ 55 分鐘 ・ 2026/07/25
• Most devs don't understand how LLM tokens work影片 ・ Matt Pocock ・ 11 分鐘 ・ 2025/09/19
• Token 到底是什么？—— 揭秘大模型背后的“文字压缩术”影片 ・ 马克的技术工作坊 ・ 11 分鐘 ・ 2025/12/14

這個來源最近的內容

• A new feature for my blog, built using my voice昨天 ・ 文章
• Quoting Matthew Green昨天 ・ 文章
• Claude Haiku 5.52 天前 ・ 文章

Simon Willison's Weblog 的所有內容