In-Context Retrieval with Siddharth Gollapudi - Weaviate Podcast #146!

摘要

探討將整個文庫置入大型語言模型上下文，利用注意力機制進行檢索的「情境檢索」技術。與需重新訓練的參數化檢索不同，此方法能更精確地還原文字，並解決長上下文中的注意力稀釋問題。內容包含 BlockSearch 模型的訓練細節、如何處理百萬 token 規模的挑戰，以及對 AI 未來在數學證明與科學發現中創造力的展望。

A podcast interview discussing in-context retrieval using LLM attention mechanisms, the BlockSearch model, and future directions for AI creativity in science and math.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 情境檢索將全文庫置入 LLM 上下文，利用注意力機制直接檢索。
• BlockSearch 模型在百萬 token 規模下解決注意力稀釋與訓練失調問題。
• 探討長上下文模型如何具備創造力以解決數學猜想與科學發現。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00在情境檢索與生成式搜尋的差異
2. 03:17長文脈模型中的位置偏差問題
3. 05:37從列表重排序到百萬 token 規模
4. 13:01訓練資料規模與結構化輸出挑戰
5. 21:18混合多資料集提升檢索表現
6. 23:48ColBERT 與神經架構的互動近似
7. 26:11神經架構中晚期互動概念探討
8. 28:46動態溫度調整與注意力機制最佳化
9. 33:26稀疏注意力架構與長上下文挑戰
10. 40:36大規模預訓練所需的硬體資源
11. 42:53重排序模型在生產環境的參數規模
12. 48:03無監督學習發現資料間隱藏連結
13. 51:32語言模型解決未解數學定理的途徑
14. 54:07可驗證與不可驗證領域的應用邊界

提到的工具與公司

• BlockSearch
• MS MARCO
• BEIR
• RLHN
• ColBERT
• A100
• H100

適合誰看

從事資訊檢索、大型語言模型研究或需要處理海量文件檢索的開發人員與研究者。

摘要依據

講者

Connor Shorten

依據

語音轉文字

為什麼排在這裡

人氣

0.16

新鮮

0.97

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Vector Search with LLMs - Computerphile影片 ・ Computerphile ・ 20 分鐘
• Improving Recommendation Systems & Search in the Age of LLMs文章 ・ Eugene Yan（部落格）
• AI Search, LLM Visibility, Citations, Query Fan-Out & the Future of Search |Episode 372|影片 ・ Practical AI
• DeepSeek Gave LLMs a Real Memory (It's Not RAG)影片 ・ Jia-Bin Huang
• A Visual Guide to Attention Mechanisms in LLMs - Luis Serrano, Data Hack 2025 with @Analyticsvidhya影片 ・ Luis Serrano Academy ・ 52 分鐘
• How to get discovered in AI searchPodcast ・ Practical AI ・ 55 分鐘