The spelled-out intro to language modeling: building makemore

摘要

Andrej Karpathy 示範如何從大雙字元語言模型逐步建構至現代 Transformer 模型，並深入解析 PyTorch Tensor 的細節與神經網路訓練架構。觀眾可透過此影片學習語言建模的核心流程，包括模型訓練、取樣與損失函式評估。

Andrej Karpathy demonstrates building a language model from bigrams to a modern Transformer, focusing on PyTorch Tensor details and neural network training frameworks.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• PyTorch
• Tensor
• GPT
• CS231n
• Numpy

適合誰看

適合有程式基礎、想深入學習神經網路與語言建模原理的開發者。

摘要依據

講者

Andrej Karpathy

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.77

新鮮

0.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Building makemore Part 2: MLP影片 ・ Andrej Karpathy ・ 1 小時 16 分
• Let's build the GPT Tokenizer影片 ・ Andrej Karpathy ・ 2 小時 14 分
• What I Learned From Implementing LLM Architectures From Scratch (And How to Get Started)影片 ・ Sebastian Raschka ・ 53 分鐘
• Coding a Transformer from scratch on PyTorch, with full explanation, training and inference.影片 ・ Umar Jamil ・ 2 小時 59 分
• Building LLMs from the Ground Up: A 3-hour Coding Workshop影片 ・ Sebastian Raschka ・ 2 小時 45 分
• Implementing GPT-2 From Scratch (Transformer Walkthrough Part 2/2)影片 ・ Neel Nanda ・ 1 小時 19 分