1025: Word Gravity: How Transformers Bend Space, with Dr. Luis Serrano

摘要

邀請到 Serrano Academy 創辦人 Luis Serrano，探討他與 Jon Krohn 合著的關於 Transformer 架構的論文。Luis 解釋了注意力機制如何類似於引力，讓詞彙在網路層層之間彎曲移動，並重現了愛丁頓的日全食實驗。他還區分了 LLM 工作流與 Agent 的差異，並介紹了 GRPO 如何驅動推理模型。

Dr. Luis Serrano joins host Jon Krohn to discuss his co-authored paper on transformer architectures, explaining how attention acts like gravity to bend word embeddings. The episode covers the distinction between LLM workflows and agents, and introduces the GRPO reinforcement learning technique for L…

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• Luis Serrano 與 Jon Krohn 合作發表論文，探討 Transformer 架構中的「詞語引力」現象。
• 注意力機制使詞彙在網路層層間彎曲移動，類似愛丁頓日全食實驗中的引力彎曲。
• Luis 解釋了 LLM 工作流與 Agent 的區別，並介紹了 GRPO 如何驅動推理模型。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Transformer 架構與愛因斯坦的時空曲率
2. 09:14Serrano 學園的課程整合與教學策略
3. 14:33Transformer 架構的視覺化比喻與核心機制
4. 18:22XGBoost 中的相似度分數與差異解讀
5. 22:02Transformer 注意力機制與重力概念的連結
6. 26:02Transformer 架構的時空曲率與物理類比
7. 31:38ODC AI West 會議資訊與演講機會
8. 34:00河與岸的引力差異：詞彙如何受距離影響
9. 36:21向量空間中的可移動元素與物理模擬
10. 42:21多代理系統如何提升大語言模型效能
11. 52:47GRPO 與 PPO 在強化學習中的核心區別
12. 58:11量子計算硬體進步對 AI 的潛在影響
13. 1:00:34機器人在數學領域的潛力與挑戰
14. 1:03:16數學競賽與人類智慧在 AI 面前的對比

適合誰看

對 Transformer、大語言模型、注意力機制及 AI 推理技術感興趣的技術愛好者。

摘要依據

講者

Jon Krohn

依據

語音轉文字

為什麼排在這裡

人氣

0.35

新鮮

0.91

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• A Visual Guide to Attention Mechanisms in LLMs - Luis Serrano, Data Hack 2025 with @Analyticsvidhya影片 ・ Luis Serrano Academy ・ 52 分鐘（在新分頁開啟原站）
• 从编解码和词嵌入开始，一步一步理解Transformer，注意力机制(Attention)的本质是卷积神经网络(CNN)影片 ・ 王木头学科学 ・ 1 小時 45 分（在新分頁開啟原站）
• The world's smallest attention mechanism影片 ・ Luis Serrano Academy ・ 49 分鐘（在新分頁開啟原站）
• Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers影片 ・ Stanford Online ・ 1 小時 44 分（在新分頁開啟原站）
• 【生活中的未來語言 數學、Python、AI】15. 打造自己的對話機器人影片 ・ Iveai - I've AI ・ 2 小時 59 分（在新分頁開啟原站）
• Attention in transformers, step-by-step | Deep Learning Chapter 6影片 ・ 3Blue1Brown ・ 26 分鐘（在新分頁開啟原站）