Next-token prediction | AI Coding Dictionary

摘要

這篇文章解釋了 AI 模型運作的核心機制：它透過「下一個詞預測」來逐個生成輸出。模型根據上下文視窗內的詞頻機率隨機選取下一個字，並追加到結果中，重複此過程。這種機制導致輸出非確定性，且模型不會在生成前檢查內容是否正確，這直接導致了「胡言亂語」和生成速度受限的問題。

This article explains how AI models work by predicting the next token, appending it, and repeating the process. This mechanism introduces non-determinism and allows hallucination, as the model only selects based on probability without verifying content correctness.

重點

• 模型運作方式：逐個生成下一個詞並追加到輸出中。
• 非確定性：隨機選取下一個詞導致同一提示詞可能產生不同結果。
• 胡言亂語：模型只根據機率選擇，不檢查內容是否正確。

適合誰看

程式開發者、AI 架構師、對大模型原理感興趣的技術人員。

摘要依據

講者

Matt Pocock

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Non-determinism | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• 【TAICA_生成式AI：文字與圖像生成的原理與實務】4. LLM只是在猜下一個字影片 ・ Iveai - I've AI ・ 2 小時 50 分（在新分頁開啟原站）
• Inference | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Greedy? Min-p? Beam Search? How LLMs Actually Pick Words – Decoding Strategies Explained影片 ・ AI Coffee Break with Letitia ・ 12 分鐘（在新分頁開啟原站）
• Most devs don't understand how LLM tokens work影片 ・ Matt Pocock ・ 11 分鐘（在新分頁開啟原站）
• 【生成式AI導論 2024】第16講：可以加速所有語言模型生成速度的神奇外掛 — Speculative Decoding影片 ・ Hung-yi Lee ・ 13 分鐘（在新分頁開啟原站）