Build an LLM from Scratch 5: Pretraining on Unlabeled Data

摘要

由 Sebastian Raschka 演示如何從零開始預訓練大型語言模型，涵蓋損失計算、訓練流程及解碼策略等核心技術。觀眾可學習使用 PyTorch 在無標籤資料上訓練模型並調整生成隨機性。

This video demonstrates how to pretrain a large language model from scratch using unlabeled data with PyTorch.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• PyTorch
• GPT
• OpenAI
• Llama 2
• Llama 3

適合誰看

具備程式基礎且想深入理解大型語言模型訓練原理的開發者。

摘要依據

講者

Sebastian Raschka

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.38

新鮮

0.11

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Building LLMs from the Ground Up: A 3-hour Coding Workshop影片 ・ Sebastian Raschka ・ 2 小時 45 分
• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分
• Train an LLM from Scratch with Karpathy's Nanochat影片 ・ Trelis Research ・ 29 分鐘
• How are large language models trained?影片 ・ Google for Developers ・ 10 分鐘
• The spelled-out intro to language modeling: building makemore影片 ・ Andrej Karpathy ・ 1 小時 58 分
• Coding a Transformer from scratch on PyTorch, with full explanation, training and inference.影片 ・ Umar Jamil ・ 2 小時 59 分