Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify

摘要

Spotify 分享如何用 NEO 四階段訓練法，將開源大語言模型轉化為能理解其百萬級歌單與播客的「Spotify 語言」。透過凍結主幹的領域接地與多工指令微調，系統能支援使用者用自然語言互動、編輯喜好並生成動態體驗，同時保留語言能力。

Spotify shares how they trained open-weight LLMs with a four-stage NEO recipe to understand their massive catalog and enable steerable generative personalization.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 用 NEO 四階段法將開源大模型轉化為理解 Spotify 歌單的專用模型。
• 凍結主幹進行領域接地，避免遺忘語言能力並提升推薦準確度。
• 透過接地後的 LLM 評審員，大幅提升模糊查詢與播客推薦的判斷一致性。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Intro: making LLMs speak Spotify
2. 00:47Spotify's scale: 760M users and 100M+ tracks
3. 01:52From curation to recommendations
4. 02:37Generative personalization
5. 03:02From guessing to reasoning, from black box to steerable
6. 04:07A Spotify DJ you can steer
7. 04:37Prompted playlists
8. 05:32Taste profile
9. 06:22Personal podcasts
10. 06:52The Large Taste Model
11. 07:27One in four US Premium subscribers use it daily
12. 08:03Jacqueline Wood: how the models are trained
13. 08:18Semantic IDs for Spotify's catalog
14. 09:03Natural-language podcast recommendations
15. 09:33NEO: a four-stage training recipe
16. 10:02Domain grounding with a frozen backbone
17. 10:52Capability induction: multitask tuning
18. 11:32Multitask gains and cold-start audiobooks
19. 12:32Why frozen grounding beats continued pre-training
20. 14:02Beam search vs. constrained decoding
21. 15:02One system in production
22. 15:47Breaking habitual listening in podcast discovery
23. 16:11Grounded LLM judges
24. 18:16Scaling evaluation sets with LLM judges
25. 18:56Summary

提到的工具與公司

• Spotify
• Quen
• Llama
• NEO

適合誰看

正在開發推薦系統、個人化功能或希望將大語言模型應用於內容匹配的工程師與產品經理。

摘要依據

講者

Yves Raimond、Jacqueline Wood

依據

自動字幕

為什麼排在這裡

人氣

0.73

新鮮

0.96

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式AI時代下的機器學習(2025)】第十二講：語言模型如何學會說話 — 概述語音語言模型發展歷程影片 ・ Hung-yi Lee ・ 1 小時 31 分
• Audio Language Models - Neil Zeghidour (Moshi)影片 ・ Hung-yi Lee ・ 43 分鐘（在新分頁開啟原站）
• AI 原生思维——像训练大模型一样训练自己文章 ・ 寶玉
• Developing an LLM: Building, Training, Finetuning影片 ・ Sebastian Raschka ・ 59 分鐘（在新分頁開啟原站）
• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分（在新分頁開啟原站）
• Train an LLM from Scratch with Karpathy's Nanochat影片 ・ Trelis Research ・ 29 分鐘（在新分頁開啟原站）