看影片（在新分頁開啟原站）連到 Bilibili・马克的技术工作坊
其他版本：YouTube 版（在新分頁開啟）
摘要
解釋大模型中 Token 與 Tokenizer 的概念，說明文字如何被壓縮成機器能懂的數字。觀眾能理解 Context Window 的真實含義，並透過 BPE 演算法演示掌握文字分詞原理。
This video explains how tokens and tokenizers compress text into numbers for large models.
這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。
提到的工具與公司
- BPE
- ChatGPT
適合誰看
正在學習大模型基礎知識或開發相關工具的初學者。
摘要依據
- 依據
- 標題與說明欄（還沒有取得字幕或內文）
為什麼排在這裡
- 人氣
- 0.65
- 新鮮
- 0.32
在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算
相關內容
- Tokenization and Byte Pair Encoding影片 ・ Luis Serrano Academy ・ 8 分鐘
- Let's build the GPT Tokenizer影片 ・ Andrej Karpathy ・ 2 小時 14 分
- Build an LLM from Scratch 2: Working with text data影片 ・ Sebastian Raschka ・ 1 小時 28 分
- Most devs don't understand how LLM tokens work影片 ・ Matt Pocock ・ 11 分鐘
- 【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)影片 ・ Hung-yi Lee ・ 38 分鐘
- Why AI Doesn't Actually Read Words影片 ・ Jia-Bin Huang
摘要由 AI 根據標題與說明欄產生（還沒有取得原文），可能有誤；完整內容請看原站。看影片（在新分頁開啟原站）