Stanford CS229 Machine Learning | Spring 2026 | Lecture 13: LLMs, Next-Word Prediction Loss

摘要

介紹表示學習如何將圖片、文字等資料對映為向量，並透過監督預訓練與對比學習訓練這些嵌入向量。學員將了解如何利用這些向量進行相似性搜尋，以及檢索增強生成等應用方式。

This lecture explains representation learning for embeddings, covering training methods like contrastive learning and applications such as retrieval-augmented generation.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 介紹表示學習將多模態資料對映為向量嵌入的基本概念。
• 說明監督預訓練與對比學習如何訓練這些嵌入向量。
• 探討檢索增強生成在處理私有資料與知識庫查詢的應用。

章節

依話題轉折切分，標題由 AI 產生

1. 00:05表示學習與影像嵌入基礎概念
2. 05:26監督預訓練的標籤資料限制
3. 09:20分類任務作為嵌入學習方法
4. 13:12無標籤自監督學習的增強策略
5. 16:54對比損失函式的最佳化原理
6. 26:53相似度矩陣的結構與目標
7. 30:10基於softmax的對比損失公式
8. 34:06透過分數比較區分同圖與異圖
9. 38:51定義正負樣本對與實際比例
10. 43:09計算全矩陣損失的實務考量
11. 46:55如何篩選高難度負樣本
12. 49:41從同語源資料製造困難負例
13. 53:44向量搜尋與檢索系統運作原理
14. 59:08檢索增強生成與私有資料處理

提到的工具與公司

• CS229
• SimCLR
• ImageNet
• Anthropic

適合誰看

正在學習機器學習原理或希望了解大語言模型技術細節的開發者與研究者。

摘要依據

依據

人工字幕

為什麼排在這裡

人氣

0.54

新鮮

0.78

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Vector Search with LLMs - Computerphile影片 ・ Computerphile ・ 20 分鐘（在新分頁開啟原站）
• Contrastive Representation Learning文章 ・ Lilian Weng（部落格）
• JSDC 2024 - 向量搜尋與Embedding Model的進階應用影片 ・ JSDC.tw ・ 26 分鐘（在新分頁開啟原站）
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 12: Representation Learning影片 ・ Stanford Online ・ 1 小時 16 分
• Stanford CME296 Diffusion & Large Vision Models | Spring 2026 | Lecture 8 - Trending Topics影片 ・ Stanford Online ・ 1 小時 50 分
• MIT 6.S191 (2025): Language Models and New Frontiers影片 ・ Alexander Amini ・ 48 分鐘（在新分頁開啟原站）