聽節目（在新分頁開啟原站）連到 张小珺Jùn｜商业访谈录
摘要
張祥雨分享多模態研究十年歷程，剖析模型推理能力與規模反相關現象，並提出引入思維鏈（CoT）解決生成與理解割裂的觀點。內容涵蓋從 ResNet 到 NAS 的學術演進，以及對未來 AGI 與多模態融合架構的預見。
An interview with Zhang Xiangyu discussing the decade of multimodal research, the paradox of model reasoning, and the future of multimodal integration via Chain of Thought.
摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。
重點
- 張祥雨揭示模型推理能力隨規模擴大反而下降的怪異現象。
- 提出引入思維鏈（CoT）是解決多模態生成與理解割裂的關鍵。
- 預見未來多模態模型將走向視覺空間的 Long CoT 與自主呼叫工具。
章節
依話題轉折切分，標題由 AI 產生
- 00:00多模態研究十年回顧與未來展望
- 03:36深度學習Scaling與模型架構演進
- 08:15自動神經網路設計與大模型轉向
- 18:14純視覺侷限與多模態整合挑戰
- 38:48超大模型訓練困境與資料需求
- 44:03數學推理本質缺陷與跳步現象
- 52:15O1思維鏈模式如何突破推理瓶頸
- 55:43語言模型決策空間不光滑需 MCTS 篩選
- 1:11:05人類畫作強語義而降噪過程僅隨機還原
- 1:14:32視覺空間 COT 推理需依賴人類注意力轉移
- 1:17:55視覺生成泛化性不足且受算力與控制訊號限制
- 1:45:18長上下文建模難點在於全域性資訊整合與動態觸發
- 2:10:55缺乏內生動機導致智慧體難以自主修正錯誤
- 2:26:00機器人控制搶跑但通用場景終局仍指向 AGI
提到的工具與公司
- ResNet
- NAS
- SPOS
- GPT-4
- o1
適合誰看
對大模型技術演進、多模態研究或 AGI 發展有興趣的技術人員與研究者。
摘要依據
- 講者
- 张小珺
- 依據
- 語音轉文字
為什麼排在這裡
- 人氣
- 0.33
- 新鮮
- 0.15
在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算
相關內容
- 117. 开源一段论文探索之旅：模型范式、Infra和数据、语言、多模态的完整变迁史影片 ・ Zhang Xiaojun Podcast ・ 4 小時 23 分
- 80.与梅涛院士的 3 小时访谈：语言、视频、具身终将汇聚，为什么是世界模型？Podcast ・ 卫诗婕｜漫谈 Light the Star ・ 3 小時 22 分
- 136. 全球大模型季报第9集：和广密聊，Coding是AGI第二幕、硅谷御三家真相、模型正成为新一代OS影片 ・ Zhang Xiaojun Podcast ・ 1 小時 23 分
- Ep 87: Gemini Co-Lead on World Models, RL's Next Domains & Continual LearningPodcast ・ Unsupervised Learning ・ 1 小時
- 多模态论文串讲·下【论文精读】影片 ・ 跟李沐学AI ・ 1 小時 3 分（在新分頁開啟原站）
- Moonlake: Causal World Models should be Multimodal, Interactive, and Efficient — with Chris Manning and Fan-yun SunPodcast ・ Latent Space ・ 1 小時 7 分
摘要由 AI 根據原文產生，可能有誤；完整內容請看原站。聽節目（在新分頁開啟原站）