看影片（在新分頁開啟原站）連到 马克的技术工作坊
摘要
解釋大模型中 Token 與 Tokenizer 的概念，說明文字如何被壓縮成機器能懂的數字。觀眾將學會 Token 與字數的換算公式，並理解 BPE 演算法如何透過合併字元進行訓練。
This video explains how tokens and tokenizers compress text into numbers that machines understand, including the BPE algorithm and conversion formulas.
這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。
提到的工具與公司
- BPE
- Tokenizer
- Transformers
適合誰看
正在學習大模型原理或需要理解 Token 換算的開發者與技術人員。
摘要依據
- 依據
- 標題與說明欄（還沒有取得字幕或內文）
為什麼排在這裡
- 人氣
- 0.61
- 新鮮
- 0.32
在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算
相關內容
- Tokenization and Byte Pair Encoding影片 ・ Luis Serrano Academy ・ 8 分鐘
- Let's build the GPT Tokenizer影片 ・ Andrej Karpathy ・ 2 小時 14 分
- 【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)影片 ・ Hung-yi Lee ・ 38 分鐘
- Build an LLM from Scratch 2: Working with text data影片 ・ Sebastian Raschka ・ 1 小時 28 分
- 【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型影片 ・ Hung-yi Lee ・ 2 小時 5 分
- LongNet: Scaling Transformers to 1,000,000,000 tokens: Python Code + Explanation影片 ・ Umar Jamil ・ 30 分鐘
摘要由 AI 根據標題與說明欄產生（還沒有取得原文），可能有誤；完整內容請看原站。看影片（在新分頁開啟原站）