Let's reproduce GPT-2 (124M)

摘要

由 Andrej Karpathy 示範如何從零開始重現 GPT-2 (124M) 模型，涵蓋網路構建、訓練最佳化與實際運算過程。觀眾可學習如何建立大型語言模型並執行訓練。

Andrej Karpathy demonstrates how to build and train a GPT-2 model from scratch.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• GPT-2
• nanoGPT
• llm.c
• OpenAI GPT-3

適合誰看

具備基礎程式能力且對機器學習有興趣的開發者。

摘要依據

講者

Andrej Karpathy

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.82

新鮮

0.60

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Let's build GPT: from scratch, in code, spelled out.影片 ・ Andrej Karpathy ・ 1 小時 56 分
• Deep Dive into LLMs like ChatGPT影片 ・ Andrej Karpathy ・ 3 小時 31 分
• Train an LLM from Scratch with Karpathy's Nanochat影片 ・ Trelis Research ・ 29 分鐘
• Build an LLM from Scratch 4: Implementing a GPT model from Scratch To Generate Text影片 ・ Sebastian Raschka ・ 1 小時 46 分
• Implementing GPT-2 From Scratch (Transformer Walkthrough Part 2/2)影片 ・ Neel Nanda ・ 1 小時 19 分
• Building LLMs from the Ground Up: A 3-hour Coding Workshop影片 ・ Sebastian Raschka ・ 2 小時 45 分