How Hugging Face Inference Endpoints, Jobs, and Buckets Power Search on Papers with Code

摘要

介紹了 Papers with Code 如何利用 Hugging Face 的 Inference Endpoints、Jobs 和 Buckets 構建強大的搜尋系統。該系統結合了關鍵字搜尋、向量搜尋及混合檢索，支援超過 11 萬篇論文。透過將耗時的 corpus 建立工作交由 Jobs 處理，將查詢嵌入僅放在 Inference Endpoint 上，並利用 Buckets 作為可復用的儲存區，實現了高吞吐與低延遲的平衡。

This article explains how Papers with Code leverages Hugging Face's Inference Endpoints, Jobs, and Buckets to build a powerful search system supporting over 110,000 papers. By combining keyword search, vector search, and hybrid retrieval, the system balances high throughput and low latency. It uses…

重點

• Jobs 負責耗時且高吞吐的 corpus 建立與向量生成
• Buckets 作為持久化儲存區，連線計算與生產環境
• Inference Endpoint 處理查詢嵌入，提供快速向量搜尋

提到的工具與公司

• Hugging Face Jobs
• Hugging Face Storage Buckets
• Hugging Face Inference Endpoints
• PostgreSQL
• Reranker
• Qwen3-Embedding-0.6B

適合誰看

資料科學工程師、AI 搜尋系統開發者、研究人員

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.85

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• The Complete Guide to Hybrid Search in RAG (BM25 + Embeddings + Reranker)影片 ・ Dave Ebbelaar ・ 59 分鐘（在新分頁開啟原站）
• Do You Need A Vector Database in 2026? (ft Arjun Patel)Podcast ・ Tool Use - AI Conversations ・ 59 分鐘
• Retrieval Augmented Generation (RAG) Explained: Embedding, Sentence BERT, Vector Database (HNSW)影片 ・ Umar Jamil ・ 49 分鐘（在新分頁開啟原站）
• Neural Corpus Indexer 文档检索【论文精读】影片 ・ 跟李沐学AI ・ 56 分鐘（在新分頁開啟原站）
• Baseten on Hugging Face Inference Providers 🔥文章 ・ Hugging Face Blog
• How Multi-Vector Retrieval Works at Scale影片 ・ Hamel Husain ・ 24 分鐘（在新分頁開啟原站）