如何讓 Transformer 知道輸入 Token 的順序？Absolute、Relative、RoPE、到沒有 Positional Embedding

摘要

解釋 Transformer 模型如何處理輸入 Token 順序，涵蓋 Absolute、Relative、RoPE 及無位置嵌入等技術。

Explains how Transformer models handle the order of input tokens, covering Absolute, Relative, RoPE, and no positional embedding.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

適合誰看

正在學習語言模型原理的開發者或學生。

摘要依據

講者

李宏毅

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.54

新鮮

0.48

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Attention in transformers, step-by-step | Deep Learning Chapter 6影片 ・ 3Blue1Brown ・ 26 分鐘
• 从零手写 RoPE 位置编码：原理、PyTorch 源码实现与可视化理解文章 ・ chaofa用代码打点酱油（袁朝发）
• 【生成式人工智慧與機器學習導論2025】第3講：解剖大型語言模型影片 ・ Hung-yi Lee ・ 2 小時 5 分
• 【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)影片 ・ Hung-yi Lee ・ 38 分鐘
• The Transformer Family文章 ・ Lilian Weng（部落格）
• Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers文章 ・ Hugging Face Blog