117. 开源一段论文探索之旅：模型范式、Infra和数据、语言、多模态的完整变迁史

摘要

謝清池分享他如何閱讀兩百多篇 AI 論文，從重構數學基礎到利用 AI 工具克服語言障礙，並透過歷史脈絡與作者生涯串聯知識。內容涵蓋多模態模型發展、Lang5B 資料集細節及 OpenAI 與 Google 的競爭格局，適合希望理解 AI 邊界與技術演進的從業人員。

An interview where Xie Qingchi shares his journey of reading hundreds of AI papers, using historical context and AI tools to understand the field's evolution and current landscape.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 透過重構數學基礎與 AI 工具解決閱讀英文論文障礙。
• 以歷史脈絡、作者生涯與範式更新三角度解讀論文。
• 探討多模態資料集細節、OpenAI 與 Google 的未來發展。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00直接交流聰明頭腦與核心問題
2. 18:47GPU 演進史與低階程式語言挑戰
3. 27:31Transformer 誕生與注意力機制突破
4. 58:06RNN 順序限制與位置資訊引入
5. 1:07:42算力資料演算法匹配與 Transformer 主導
6. 1:15:362017 年 MoE 重現與現代 MVE 開端
7. 1:35:12React 論文與大模型推理能力結合
8. 1:38:20強化學習論文難但影響力不輸
9. 2:14:15大規模叢集經驗與 Co-Design 趨勢
10. 2:21:04從單詞向 Token 演變的語言模型史
11. 3:14:01影片理解從單幀到雙流網路突破
12. 3:17:17生成式模型從 GAN 到 VIT 的演進
13. 3:45:37Stable Diffusion 解決資源耗費問題
14. 4:21:31AI 發展尚處個人計算早期階段

提到的工具與公司

• Clip
• Lang5B
• ImageNet

適合誰看

希望理解 AI 技術邊界、產品演進或產業格局的從業人員與產品經理。

摘要依據

依據

語音轉文字

為什麼排在這裡

人氣

0.18

新鮮

0.28

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• not much happened today文章 ・ AINews（Latent Space／smol.ai）
• 118. 对李想的第二次3小时访谈：CEO大模型、MoE、梁文锋、VLA、能量、记忆、对抗人性、亲密关系、人类的智慧影片 ・ Zhang Xiaojun Podcast ・ 2 小時 46 分
• 【生成式AI時代下的機器學習(2025)】第十二講：語言模型如何學會說話 — 概述語音語言模型發展歷程影片 ・ Hung-yi Lee ・ 1 小時 31 分（在新分頁開啟原站）
• 80.与梅涛院士的 3 小时访谈：语言、视频、具身终将汇聚，为什么是世界模型？Podcast ・ 卫诗婕｜漫谈 Light the Star ・ 3 小時 22 分
• not much happened today文章 ・ AINews（Latent Space／smol.ai）
• Farewell Ai2Podcast ・ Interconnects ・ 16 分鐘