Build an LLM from Scratch 4: Implementing a GPT model from Scratch To Generate Text

摘要

由 Sebastian Raschka 示範如何從零編寫 GPT 模型架構，涵蓋層歸一化、前饋網路與注意力機制等核心步驟。觀眾可透過此影片學習如何手動實現 Transformer 結構以生成文字。

This video demonstrates how to code an LLM architecture from scratch to generate text.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• GPT
• GELU
• Llama 2
• Llama 3

適合誰看

適合具備程式基礎並想深入理解機器學習原理的開發者。

摘要依據

講者

Sebastian Raschka

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.38

新鮮

0.11

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Implementing GPT-2 From Scratch (Transformer Walkthrough Part 2/2)影片 ・ Neel Nanda ・ 1 小時 19 分
• What I Learned From Implementing LLM Architectures From Scratch (And How to Get Started)影片 ・ Sebastian Raschka ・ 53 分鐘
• Build an LLM from Scratch 3: Coding attention mechanisms影片 ・ Sebastian Raschka ・ 2 小時 16 分
• Let's build GPT: from scratch, in code, spelled out.影片 ・ Andrej Karpathy ・ 1 小時 56 分
• Coding a ChatGPT Like Transformer From Scratch in PyTorch影片 ・ StatQuest with Josh Starmer ・ 31 分鐘
• Let's reproduce GPT-2 (124M)影片 ・ Andrej Karpathy ・ 4 小時 1 分