Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs

摘要

Yuval Belfer 指出固定分塊大小（如 512 token）會造成 20 到 40% 的召回率損失，因為最佳大小取決於查詢。他提出多尺度索引法，在索引時建立多個不同大小的分塊資料庫，查詢時並行檢索並用倒數排名融合（RRF）合併結果，大幅提升檢索準確度。

Yuval Belfer demonstrates that fixed chunk sizes cause significant retrieval loss and proposes a multi-scale indexing solution using reciprocal rank fusion to improve accuracy.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 固定分塊大小會導致不同查詢的召回率損失高達 40%。
• 最佳分塊大小取決於查詢內容，無法在索引時預知。
• 多尺度索引搭配 RRF 合併可提升 20 到 40% 的檢索效果。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00A talk about nothing, and why chunking
2. 01:43Indexing is boring, retrieval tuning is fun
3. 03:23A World Cup directory that cannot answer the query
4. 04:17Chunking as lossy compression
5. 06:13Six copies of the same dataset
6. 07:07Two Seinfeld questions, opposite answers
7. 08:12The oracle experiment
8. 09:59An information problem at both ends
9. 11:02Multiscale indexing and rank fusion
10. 13:50Results across four datasets
11. 15:24What it costs in memory

提到的工具與公司

• RRF
• vector DB
• QMSum
• NarrativeQA
• Seinfeld
• MTAB

適合誰看

正在建構或最佳化 RAG 系統、需要提升資料檢索準確度的工程師。

摘要依據

講者

Yuval Belfer

依據

自動字幕

為什麼排在這裡

人氣

0.81

新鮮

0.94

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Text Chunking Strategies for RAG Applications文章 ・ Jason Liu（部落格）
• How Multi-Vector Retrieval Works at Scale影片 ・ Hamel Husain ・ 24 分鐘（在新分頁開啟原站）
• Ep 71: CEO of TurboPuffer Simon Eskildsen on Building Smarter Retrieval, AI App Must-Have Features & Current State of Vector DBsPodcast ・ Unsupervised Learning ・ 51 分鐘
• [Paper Analysis] On the Theoretical Limitations of Embedding-Based Retrieval (Warning: Rant)影片 ・ Yannic Kilcher ・ 49 分鐘（在新分頁開啟原站）
• The Complete Guide to Hybrid Search in RAG (BM25 + Embeddings + Reranker)影片 ・ Dave Ebbelaar ・ 59 分鐘（在新分頁開啟原站）
• Retrieval Augmented Generation (RAG), Search, and Vector Databases影片 ・ Luis Serrano Academy ・ 19 分鐘（在新分頁開啟原站）