Extrinsic Hallucinations in LLMs

摘要

探討大語言模型的「外延謬誤」，即模型基於預訓練資料而非上下文生成錯誤內容的現象。作者指出，為避免謬誤，模型必須兼具事實準確性與承認不知情的能力。文章分析了訓練階段（如新知識引入易導致謬誤）與檢索階段（如 RARR、FAVA 等工具）如何透過檢索外部知識來驗證與修正內容，並提供了多個評估指標與實作範例。

This article explores 'extrinsic hallucinations' in large language models, defined as generating incorrect content based on pre-training data rather than context. It argues that to avoid hallucinations, models must balance factual accuracy with the ability to admit ignorance. The text examines fine‑…

重點

• 文章定義外延謬誤為基於預訓練資料而非上下文的錯誤內容生成。
• 為避免謬誤，模型需兼具事實準確性與承認不知情的能力。
• 檢索增強技術如 RARR 與 FAVA 透過檢索外部知識來驗證並修正內容。

提到的工具與公司

• FAVA
• RARR
• SelfCheckGPT
• TruthfulQA
• SelfAware
• FAVABench

適合誰看

對大語言模型原理、訓練過程及檢索驗證技術感興趣的程式開發者與研究人員。

摘要依據

講者

Lilian Weng

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.04

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Mohamed Nabeel - Ghost in the Web Store: Preempting LLM Hallucinated Browser Extension Supply Chain影片 ・ Berkeley RDI ・ 6 分鐘（在新分頁開啟原站）
• LLM 賭錯方向了？從駕馭工程到世界模型 | S2E54影片 ・ 矽谷輕鬆談 Just Kidding Tech ・ 25 分鐘（在新分頁開啟原站）
• He's Building an AI That Can't Lie | Dan KleinPodcast ・ Gradient Dissent ・ 1 小時 15 分（在新分頁開啟原站）
• Open challenges in LLM research文章 ・ Chip Huyen（部落格）
• Why Hallucinations Aren’t What You Think影片 ・ Jason Liu ・ 55 分鐘（在新分頁開啟原站）
• What messages you send to the LLM actually look like影片 ・ Matt Pocock ・ 2 分鐘（在新分頁開啟原站）