Distill the LLM, Don't Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash

摘要

DoorDash 講者 Raghav Saboo 說明搜尋與個人化系統如何透過 LLM 解決語義理解瓶頸。團隊將 LLM 推理結果離線轉化為標籤、語義 ID 與消費者記憶，再精簡至小模型供即時服務，提升相關性與訂單率。

DoorDash explains how to distill LLM reasoning into smaller models for search and personalization to improve relevance and order rates.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 搜尋瓶頸在於理解商品語義與消費者意圖，而非僅看點選率。
• 離線用 LLM 生成語義標籤與 ID，精簡後讓小模型即時服務。
• 透過消費者記憶與可引導內容生成，提升個人化推薦效果。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Intro
2. 00:47Discovery's real bottleneck is semantic understanding
3. 01:42Beyond restaurants: broad shopping missions
4. 02:52The four primitives
5. 03:17Primitive 1: LLM supervision
6. 03:27Why engagement ranks the wrong pasta
7. 04:11Human labels vs. behavioral signals
8. 04:46Building a golden labeled dataset
9. 05:46A fine-tuned LLM labeler for the whole catalog
10. 06:11Reason offline, serve cheaply
11. 06:21Two-stage contrastive retrieval
12. 08:00Adding a relevance tower to rankers
13. 09:00Distill, don't replace
14. 09:30Primitive 2: catalog semantics with semantic IDs
15. 11:00A learned taxonomy
16. 11:50Cross-category, cold start and tail coverage
17. 12:55Results: 4–5% MRR gains in ranking
18. 13:20Query reformulation
19. 14:05Primitive 3: consumer memory
20. 15:15Three timescales of memory
21. 15:55Memory blocks: text, vectors and graphs
22. 17:04Context graphs
23. 17:55Where memory shows up
24. 18:20Primitive 4: steerable content generation
25. 19:05Personalized collections on store pages
26. 20:33Results in the pets category
27. 20:48Three takeaways

提到的工具與公司

• GPD 40 mini
• semantic IDs

適合誰看

從事電商搜尋、推薦系統或市場發現技術的工程師與架構師。

摘要依據

講者

Raghav Saboo

依據

自動字幕

為什麼排在這裡

人氣

0.76

新鮮

0.96

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Improving Recommendation Systems & Search in the Age of LLMs文章 ・ Eugene Yan（部落格）
• Cheating at Query Understanding with LLMs with Doug Turnbull影片 ・ Jason Liu ・ 57 分鐘（在新分頁開啟原站）
• Why LLM Recommenders Will Be AI's Biggest Consumer App — Devansh Tandon, Meta影片 ・ AI Engineer ・ 18 分鐘（在新分頁開啟原站）
• Vector Search with LLMs - Computerphile影片 ・ Computerphile ・ 20 分鐘（在新分頁開啟原站）
• How to get discovered in AI searchPodcast ・ Practical AI ・ 55 分鐘
• AI Engineer 2025 - Improving RecSys & Search with LLM techniques文章 ・ Eugene Yan（部落格）