Inference | AI Coding Dictionary

摘要

本文解釋了 AI 模型推理（Inference）的運作機制：模型引數在訓練後固定，每次請求僅在給定的上下文中進行下一個詞預測。這使得推理成本與輸入輸出token數成正比，且無法像訓練時那樣從對話中學習修正錯誤。

This article explains the inference mechanism of AI models: parameters remain fixed after training, and each request predicts the next token based on context. Inference costs scale with tokens and cannot learn from conversation, making context size a critical cost and quality factor.

重點

• 模型引數在訓練後固定，每次請求僅在上下文中進行預測。
• 推理成本與輸入輸出token數成正比，無法從對話中學習修正。
• 模型是狀態less的，需透過上下文或記憶系統維持連續性。

適合誰看

程式開發者、AI 模型使用者或對推理成本與機制感興趣的讀者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Training | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Next-token prediction | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• I modelli più coincisi cambieranno l'inferenza locale影片 ・ Salvatore Sanfilippo ・ 11 分鐘（在新分頁開啟原站）
• Build A Reasoning Model From Scratch 5: Inference Scaling 2 (Logprob Scoring, Self-Refinement)影片 ・ Sebastian Raschka ・ 1 小時 9 分（在新分頁開啟原站）
• Local AI 201: Inference Engines, Hardware Stack影片 ・ Hugging Face ・ 53 分鐘（在新分頁開啟原站）