GPT-OSS-20B Has a Secret Layer That Classifies Every Question Before Answering

摘要

Chris Hay 透過 Logit Lens 分析發現 GPT-OSS-20B 第 13 層會先分類問題型別再回答，並能透過單一方向引導該層改變計算邏輯。影片揭示模型內部架構細節，說明任務分類與計算過程的差異。

Chris Hay reveals how GPT-OSS-20B's Layer 13 classifies tasks before answering and demonstrates steering capabilities using Logit Lens analysis.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• GPT-OSS-20B
• HuggingFace

適合誰看

對大型語言模型內部機制、架構分析或模型調優有興趣的研究者與開發者。

摘要依據

講者

Chris Hay

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.26

新鮮

0.43

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Layer 15 Exposed - How GPT-OSS Routes Every Decision Before Output影片 ・ Chris Hay
• MoE Models Exposed | Position vs Context影片 ・ Chris Hay
• From GPT-2 to gpt-oss: Analyzing the Architectural Advances文章 ・ Sebastian Raschka（部落格）
• What Is Reasoning文章 ・ Armin Ronacher（部落格）
• What’s Next for AI? OpenAI’s Łukasz Kaiser (Transformer Co-Author)Podcast ・ The MAD Podcast ・ 1 小時 5 分
• Coatue Pt2. Open AI’s Kevin Weil Dives into All Things ChatGPT | BG2 w/ Bill Gurley & Brad GerstnerPodcast ・ BG2Pod ・ 22 分鐘