Greedy? Min-p? Beam Search? How LLMs Actually Pick Words – Decoding Strategies Explained

摘要

拆解大型語言模型如何從機率分佈選擇下一個字元，涵蓋貪婪解碼、Top-k、Top-p 及 Min-p 等策略。透過 GPT-2 實作示範，說明不同解碼方式如何影響輸出品質與創意。

This video explains how LLMs select words using decoding strategies like greedy, top-k, and min-p sampling, demonstrating their impact on output quality with GPT-2.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• GPT-2

適合誰看

正在學習大語言模型原理或想最佳化生成效果的開發者與研究者。

摘要依據

講者

Decoding Strategies Explained

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.27

新鮮

0.19

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【TAICA_生成式AI：文字與圖像生成的原理與實務】4. LLM只是在猜下一個字影片 ・ Iveai - I've AI ・ 2 小時 50 分
• Understanding Sampling in LLMs影片 ・ Salvatore Sanfilippo ・ 17 分鐘
• Controllable Neural Text Generation文章 ・ Lilian Weng（部落格）
• Next-token prediction | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Build an LLM from Scratch 4: Implementing a GPT model from Scratch To Generate Text影片 ・ Sebastian Raschka ・ 1 小時 46 分
• Tokenization and Byte Pair Encoding影片 ・ Luis Serrano Academy ・ 8 分鐘