But what is cross-entropy? | Compression is Intelligence Part 2

摘要

解釋交叉熵損失函式的來源與直觀，說明其在訓練大型語言模型中的核心作用。透過動畫演示，讓觀眾理解為何這是評估模型預測準確度的最佳指標。

This video explains the origin and intuition behind the cross-entropy loss function used in training large language models.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• Python

適合誰看

對機器學習原理或大型語言模型訓練有興趣的開發者與學生。

摘要依據

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.96

新鮮

0.72

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• How are large language models trained?影片 ・ Google for Developers ・ 10 分鐘
• The spelled-out intro to language modeling: building makemore影片 ・ Andrej Karpathy ・ 1 小時 58 分
• 【生成式AI時代下的機器學習(2025)】第八講：大型語言模型的推理過程不用太長、夠用就好影片 ・ Hung-yi Lee ・ 24 分鐘
• 【生活中的未來語言 數學、Python、AI】10. 神秘的熵影片 ・ Iveai - I've AI ・ 2 小時 40 分
• Tokenization and Byte Pair Encoding影片 ・ Luis Serrano Academy ・ 8 分鐘
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 13: LLMs, Next-Word Prediction Loss影片 ・ Stanford Online ・ 1 小時 1 分