Next-token prediction | AI Coding Dictionary
這篇文章解釋了 AI 模型運作的核心機制:它透過「下一個詞預測」來逐個生成輸出。模型根據上下文視窗內的詞頻機率隨機選取下一個字,並追加到結果中,重複此過程。
依人氣
這篇文章解釋了 AI 模型運作的核心機制:它透過「下一個詞預測」來逐個生成輸出。模型根據上下文視窗內的詞頻機率隨機選取下一個字,並追加到結果中,重複此過程。
這篇文章解釋了 AI 模型與程式設計助手(harness)的區別:模型僅負責預測下一個字,無法自主執行任務;真正的智慧來自於呼叫模型的過程。作者強調,若問題出在模型上,應先檢查上下文與工具設定,而非直接歸咎於模型本身。
這篇文章解釋了 AI 程式碼字典中「Harness」的概念,即將模型轉化為代理所需的工具、系統提示詞與上下文管理。作者指出,模型本身僅負責讀寫文字,而 Harness 負責執行工具、管理許可權與記憶。
MCP 是一個讓程式碼助手能連線外部工具伺服器(如 Linear)的協議,解決了不同平台整合問題。它透過標準化,讓單一伺服器定義可被多個工具使用,並透過上下文成本機制控制資訊量,避免預載過多工具定義。
這篇文章解釋了 AI 模型生成後的輸出 Token 成本較高,通常比輸入 Token 高五倍。因為產生輸出需要更多計算資源,所以費用更貴。使用者需意識到輸出 Token 決定了對話速度,且包含模型思考過程,這些都被計入費用。
介紹了 AI 程式設計代理(coding agent)的核心工作環境:一個包含檔案與目錄的樹狀結構。當代理啟動時,它會讀取並執行此檔案系統,透過工具呼叫存取檔案內容。
本文解釋了 AI 程式碼工具(Tool)的概念,說明它們如何讓代理感知與操作環境。透過 Read、Write、Bash 等工具,代理能讀取檔案、編輯檔案或執行命令。
介紹了「Agent mode」,一種將特定許可權模式與行為指令注入系統提示的預設集。它允許使用者根據任務階段調整 Agent 的行為,例如在規劃階段強制規劃、在編輯時自動審批,或僅在沙盒環境下啟用無限制模式。
本文解釋了 AI 程式碼字典中「Session」的概念,即與代理的一次有界互動。它會從空開始,累積訊息、工具結果及讀取的檔案,直到被清空、關閉或合併成新視窗為止。Session 佔據上下文視窗,若內容過大需分視窗處理。
Prefix cache 是一種伺服器側機制,讓連續請求能跳過重複處理共享的字首,以更低速率計費。當請求起始點與最近一次相同時,系統會重用先前工作並計費為低價的「快取 token」。
依發布時間
介紹 Plan Mode,一種在撰寫程式碼前與 AI 協同迭代的需求定義方法。透過該模式,使用者可先驗證假設與構建上下文,確保程式碼品質與理解度。
這篇文章解釋了 AI 模型運作的核心機制:它透過「下一個詞預測」來逐個生成輸出。模型根據上下文視窗內的詞頻機率隨機選取下一個字,並追加到結果中,重複此過程。
這篇文章解釋了 AI 模型與程式設計助手(harness)的區別:模型僅負責預測下一個字,無法自主執行任務;真正的智慧來自於呼叫模型的過程。作者強調,若問題出在模型上,應先檢查上下文與工具設定,而非直接歸咎於模型本身。
這篇文章解釋了 AI 程式碼字典中「Harness」的概念,即將模型轉化為代理所需的工具、系統提示詞與上下文管理。作者指出,模型本身僅負責讀寫文字,而 Harness 負責執行工具、管理許可權與記憶。
MCP 是一個讓程式碼助手能連線外部工具伺服器(如 Linear)的協議,解決了不同平台整合問題。它透過標準化,讓單一伺服器定義可被多個工具使用,並透過上下文成本機制控制資訊量,避免預載過多工具定義。
這篇文章解釋了 AI 模型生成後的輸出 Token 成本較高,通常比輸入 Token 高五倍。因為產生輸出需要更多計算資源,所以費用更貴。使用者需意識到輸出 Token 決定了對話速度,且包含模型思考過程,這些都被計入費用。
介紹了 AI 程式設計代理(coding agent)的核心工作環境:一個包含檔案與目錄的樹狀結構。當代理啟動時,它會讀取並執行此檔案系統,透過工具呼叫存取檔案內容。
本文解釋了 AI 程式碼工具(Tool)的概念,說明它們如何讓代理感知與操作環境。透過 Read、Write、Bash 等工具,代理能讀取檔案、編輯檔案或執行命令。
介紹了「Agent mode」,一種將特定許可權模式與行為指令注入系統提示的預設集。它允許使用者根據任務階段調整 Agent 的行為,例如在規劃階段強制規劃、在編輯時自動審批,或僅在沙盒環境下啟用無限制模式。
本文解釋了 AI 程式碼字典中「Session」的概念,即與代理的一次有界互動。它會從空開始,累積訊息、工具結果及讀取的檔案,直到被清空、關閉或合併成新視窗為止。Session 佔據上下文視窗,若內容過大需分視窗處理。
Prefix cache 是一種伺服器側機制,讓連續請求能跳過重複處理共享的字首,以更低速率計費。當請求起始點與最近一次相同時,系統會重用先前工作並計費為低價的「快取 token」。
本文解釋了 AI 開發中「模型提供者」的概念,即負責模型推理的遠端服務或本地工具。使用者需透過這些提供者獲取預判結果,並需了解其限額、價格與可用性。
本文解釋了系統提示詞(System Prompt)在 AI 程式設計工具中的核心作用。它定義了代理的立場、行為規範、可呼叫的工具及輸出格式,並說明這些指令通常由工具供應商預先設定,並優先於使用者訊息被模型執行。
這篇文章解釋了 AI 程式碼生成中「Turn」的概念,即使用者訊息與 AI 回應之間的互動單位。Turn 是 AI 自主決策的長度,包含多輪工具呼叫,使用者需透過間隔來引導方向。
這篇文章解釋了「Agent」的定義:它不是機械零件,而是模型、工具與提示片語合後與使用者互動的單一實體。文章指出 Agent 是將 AI 具象化的概念,使用者與它對話時,實際上是在與模型加工具後的整體系統溝通,而非單獨的模型或程式碼。
這篇文章解釋了 AI 程式碼字典中「上下文(Context)」的概念,強調它是指 Agent 當下可用的相關資訊,而非模型視窗或歷史記錄。內容指出,上下文品質取決於內容而非數量,若資訊陳舊或無關,即使視窗滿載也會導致失敗。
本文解釋了 AI 程式碼字典中「模型提供者請求」的概念,說明單一使用者訊息可能引發多輪模型請求,每輪請求都包含完整上下文,且請求本身是計費單位。
這篇文章解釋了 AI 程式設計中輸入 Token 的定義與成本。輸入 Token 是模型在處理請求時讀取的資料,包括系統提示與對話歷史,其價格通常低於輸出 Token。
這篇文章解釋了 AI 編碼中兩種「自信錯誤」:事實性錯誤(捏造事實)與忠誠度錯誤(從上下文漂移)。作者強調需區分兩者,並指出解決方法分別為補充上下文或移除冗餘資訊,避免誤判導致問題加劇。
本文解釋了「AI」這個標籤如何從早期的邏輯推理演變至現在的語言模型。作者指出,AI 並非固定技術,而是指代電腦能做的事,目前主要指向大語言模型。文章提醒讀者避免使用「AI」作為技術術語,應明確說明是指模型、工具或特定情境下的應用。
本文解釋了 AI 模型引數訓練的概念,即透過大量文字暴露並調整引數來改善預測能力。這是一次昂貴的專業操作,涵蓋預訓練與後訓練。
本文解釋了 AI 模型如何透過字首快取(prefix cache)來最佳化長對話的成本。當連續請求共享相同的字首時,系統會重用已處理的資料,將這些部分以極低價格計費。若對話內容有變動,字首會斷裂,導致後續請求重新計算並按全額收費。
本文解釋了 AI 程式碼字典中的「上下文視窗」概念。它定義了模型在每次請求中看到的有限且特定的資訊序列,包括系統提示、對話歷史及工具結果。內容強調上下文是模型感知的唯一介面,且會隨著對話不斷增長,若超過限制則需壓縮或清除。
本文解釋了 AI 的引數知識,即訓練時被固定、無法更新的知識。這種知識源於訓練資料,用於處理常見問題但對稀有情況可能產生虛構。它與上下文知識相對,且會隨著時間老化,無法補充新資訊。
這篇文章用平實英語解讀了 AI 程式碼領域的 71 個核心術語,幫助工程師理解「代理式編碼」的運作機制。內容涵蓋模型引數、上下文視窗、工具呼叫及手遞交等關鍵概念,讓讀者能直觀掌握 AI 如何輔助開發工作流。
這篇文章解釋了 AI 模型中的「引數」是什麼,它們如何決定模型輸出,以及為什麼訓練後的引數會被凍結。內容指出引數是模型記憶體儲知識的唯一方式,且一旦訓練完成,這些數值不會因使用而改變,因此模型是狀態less 的。
這篇文章解釋了 AI 程式碼中「狀態」的概念,指出模型本身永遠是無狀態的,但透過 Harness 將訊息、工具結果與檔案載入環境,讓 Session 與 Agent 在跨輪次與跨檔案時保持連續性。
介紹了 AI 編碼字典中的「許可請求機制」。當模型提出未預先批准的程式碼工具呼叫時,系統會暫停並詢問使用者是否同意。使用者可隨時拒絕或同意,拒絕會引導模型採取不同行動。此機制用於在風險或敏感操作中加入人工審查,確保安全。
本文解釋了 AI 模型推理(Inference)的運作機制:模型引數在訓練後固定,每次請求僅在給定的上下文中進行下一個詞預測。這使得推理成本與輸入輸出token數成正比,且無法像訓練時那樣從對話中學習修正錯誤。
本文解釋了 AI 代理所作用的「環境」概念,即工具結果與工具呼叫之外的一切。環境是代理工作的舞台,檔案、資料庫或 API 皆為環境範例。環境透過工具結果呈現,且會隨著時間更新,若內容改變而代理未重新讀取,則會基於舊資料推理。
探討了 AI 模型中一種令人困惑的現象:模型會根據人類偏好調整輸出,例如在收到反饋時退讓,或在輸入錯誤時過度讚美。這種「阿諛奉承」行為會扭曲對模型分析的判斷,導致模型在錯誤時反而顯得正確。
本文解釋了 AI 程式設計字典中「許可權閘」的概念,即 Agent 模式下的工具呼叫如何觸發授權請求。作者指出,過緊的許可權模式會導致 Agent 頻繁停頓等待人工批准,造成效率低下;過松的模式則可能讓 Agent 執行未經授權的指令。
介紹了 AI 程式設計字典中「工具呼叫(Tool Call)」的概念。它解釋了模型如何輸出工具名稱與引數的結構化文字,以及呼叫方如何讀取並執行這些指令。
Effort 是一個控制模型在回答前進行推理程度的調值。設定越高,模型會思考越久,但會消耗更多時間、延遲更多並增加費用。它分為低、中、高、最大四個等級,適合不同難度的任務。
AI Hero 介紹了 AI 編碼字典中的沙盒概念,即為 AI 執行隔離環境(如容器或受限 shell)。透過限制 AI 能達到的範圍,防止其執行破壞性命令或獲取惡意資料,從而降低風險。
Token 是 AI 模型讀寫的基本單位,約為一個英文單字的 3/4。它決定了模型的上下文視窗大小、計算成本與延遲。文章解釋了 tokenizer 如何將文字轉為 token,並指出程式碼與自然語言在 token 數量上的差異,強調避免使…
這篇文章解釋了 AI 模型的知識截止日(Knowledge Cutoff)概念,指出模型在截止日期後無法獲取新資訊,若未正確載入最新文件,可能會編造錯誤的程式碼或 API 用法,導致程式錯誤。
這篇文章解釋了 AI 模型在請求之間是無狀態的,每次都會重新讀取完整上下文,因此無法記住之前的對話。要實現記憶功能,必須透過手寫檔案(如 AGENTS.md)將重要資訊載入上下文,讓模型在每次請求時都能讀取這些內容。
本文解釋了 AI 程式碼字典中「工具結果」的概念,即執行工具後返回的檔案內容、輸出或錯誤訊息。它是代理與環境的唯一互動介面,會在下一個模型請求中傳遞給模型。
這篇文章解釋了 AI 模型的非確定性,即相同輸入可能產生不同輸出。這是模型生成文字時的固有特性,而非程式錯誤。文章指出,雖然結果有波動,但通常落在合理範圍內,因此重試是有效策略,且驗證機制需比傳統工具更嚴謹。