Build an LLM from Scratch 2: Working with text data

摘要

由 Sebastian Raschka 講解從零開始建立大型語言模型的第二集，專注於文字資料的準備工作，包括分詞、BPE 編碼與嵌入層建立。觀眾可學習實際的程式碼實作步驟，掌握訓練 LLM 所需的關鍵技術細節。

This video teaches how to prepare text data for training an LLM from scratch, covering tokenization, BPE, and embeddings.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• token IDs

適合誰看

適合有程式基礎、正在學習機器學習或想從零建構 LLM 的開發者。

摘要依據

講者

Sebastian Raschka

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.48

新鮮

0.11

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Tokenization and Byte Pair Encoding影片 ・ Luis Serrano Academy ・ 8 分鐘
• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分
• Build an LLM from Scratch 5: Pretraining on Unlabeled Data影片 ・ Sebastian Raschka ・ 2 小時 37 分
• Transcription Models Zero to Hero - Data Prep, Train + Serve影片 ・ Trelis Research ・ 19 分鐘
• Train an LLM from Scratch with Karpathy's Nanochat影片 ・ Trelis Research ・ 29 分鐘
• Building an AI Text Detector From Scratch文章 ・ Sebastian Raschka（部落格）