What We Learned by Reproducing 2,200 papers from ICML

摘要

介紹了 Hugging Face 舉辦的 ICML 2026 開源重現挑戰，超過 1,200 名成員在 19 天內重現了 2,226 篇論文。透過 3,978 個獨立驗證的論點，發現約 51% 的論文至少有一個論點被驗證，但仍有 242 篇論文出現不同團隊的相反結論，顯示重現性具有對立性。文章分析了假設錯誤、計算錯誤及理論與實作不一致等問題，並探討人類在自動化工具與 AI 輔助研究中的關鍵角色。

This article introduces the Hugging Face ICML 2026 Open Reproductions challenge, where over 1,200 members reproduced 2,226 papers in 19 days. With 3,978 independently verified claims, it found 51% of papers had at least one claim verified, but 242 papers showed contradictory results, highlighting a…

重點

• 超過 1,200 人 19 天重現 2,226 篇 ICML 論文。
• 51% 論文論點被驗證，但 242 篇出現相反結論。
• 重現性具有對立性，需警惕假設錯誤與計算錯誤。

提到的工具與公司

• ICML 2026
• Trackio
• Hugging Face
• OpenResearch
• GLM-5.2
• Roar
• BigPickle
• AlphaXiv

適合誰看

對 AI 研究流程、論文重現挑戰及人類在 AI 輔助研究中的角色感興趣的讀者。

摘要依據

依據

文章全文

為什麼排在這裡

人氣

0.50

新鮮

0.82

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• How AI agents reproduced ICML 2026 papers影片 ・ Hugging Face ・ 27 分鐘（在新分頁開啟原站）
• Hugging Face Journal Club: Training AI Scientists to Replicate Research影片 ・ Hugging Face ・ 35 分鐘（在新分頁開啟原站）
• GPT-6 Goes Rogue? The HuggingFace Incident, Sans Hype影片 ・ AI Explained ・ 15 分鐘（在新分頁開啟原站）
• How Replication Could Teach Machines What Good Science Looks Like — Edward HughesPodcast ・ Machine Learning Street Talk ・ 2 小時 2 分（在新分頁開啟原站）
• State of Open Models: Summer 2026 Observations文章 ・ Hugging Face Blog
• Introducing our Artifacts Hub and Adoption Dashboard文章 ・ Nathan Lambert（部落格）