The GELU, SiLU and SwiGLU activation functions, clearly explained!!!

摘要

解釋 GELU、SiLU 與 SwiGLU 三種激活函數的原理，並揭示它們本質上是不同形式的輸入依賴式 Dropout。看完能理解這些新函式如何解決 Sigmoid 與 ReLU 的缺點，並掌握其數學推導邏輯。

This video explains GELU, SiLU, and SwiGLU activation functions by revealing their connection to input-dependent dropout.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

適合誰看

正在學習機器學習或深度神經網路原理的初學者與進階使用者。

摘要依據

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.84

新鮮

0.89

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Why AI Spent 60 Years Hunting for the Right Activation影片 ・ Jia-Bin Huang
• [LLM Architect] 13 Kimi K3 门控机制，门控注意力，Gated MLA，KDA的门控分支，MoE 中的SiTU-GLU，SwiGLU影片 ・ 五道口纳什 ・ 17 分鐘
• Machine Learning Foundations/Techniques: Deep Learning Activation影片 ・ Hsuan-Tien Lin ・ 2 小時 1 分
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 7: Neural Networks 1 (Architecture)影片 ・ Stanford Online ・ 1 小時 20 分
• Why Deep Learning Works Unreasonably Well [How Models Learn Part 3]影片 ・ Welch Labs ・ 34 分鐘
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 4: Exponential Family, GLMs Classification影片 ・ Stanford Online ・ 1 小時 14 分