Training | AI Coding Dictionary

摘要

本文解釋了 AI 模型引數訓練的概念，即透過大量文字暴露並調整引數來改善預測能力。這是一次昂貴的專業操作，涵蓋預訓練與後訓練。內容指出模型知識來自於預測能力的提升，而非儲存事實，且存在知識截止日與無法直接「教」模型的問題，使用者應透過上下文而非訓練來解決問題。

This article explains the process of training AI model parameters by exposing it to vast amounts of text to improve next-token prediction. It covers pre-training and post-training, noting that knowledge comes from improved prediction, not stored facts, and cannot be directly 'taught'.

重點

• AI 模型引數訓練是透過大量文字暴露來調整引數以改善預測的專業過程。
• 此過程昂貴且由模型供應商執行，涵蓋預訓練與後訓練。
• 模型知識來自預測能力提升，而非儲存事實，且無法直接「教」模型。

適合誰看

程式開發者、AI 技術研究者或對模型運作機制感興趣的讀者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Parametric knowledge | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Parameters | AI Coding Dictionary文章 ・ AI Hero（Matt Pocock）
• Baking a Model文章 ・ Kent Beck（部落格）
• 【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊影片 ・ Hung-yi Lee ・ 35 分鐘（在新分頁開啟原站）
• 视频生成·下：模型和训练【论文精读·55】影片 ・ 跟李沐学AI ・ 1 小時 3 分（在新分頁開啟原站）
• 【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具影片 ・ Hung-yi Lee ・ 47 分鐘（在新分頁開啟原站）