From Autoencoder to Beta-VAE

摘要

介紹了從自編碼器到 Beta-VAE 的演變，涵蓋了 VQ-VAE、TD-VAE 等變體。核心在於利用變分自編碼器學習的潛在程式碼進行降維與生成式建模，並透過重新引數化技巧解決梯度計算問題。

This article reviews the evolution from Autoencoder to Beta-VAE, covering VQ-VAE and TD-VAE variants. The core lies in using the latent code learned by Variational Autoencoders for dimensionality reduction and generative modeling, with reparameterization techniques enabling trainability.

重點

• 利用窄層 bottleneck 進行降維，捕捉潛在程式碼。
• 透過 ELBO 損失函式最佳化變分後 posterior 分佈。
• 引入重新引數化技巧使模型可訓練且能處理隨機性。

提到的工具與公司

• ELBO
• Beta-VAE
• VQ-VAE
• TD-VAE
• Autoencoder
• VAE

適合誰看

程式開發者、機器學習研究者、資料科學家。

摘要依據

講者

Lilian Weng

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• [Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)影片 ・ Yannic Kilcher ・ 40 分鐘（在新分頁開啟原站）
• Variational Autoencoder - Model, ELBO, loss function and maths explained easily!影片 ・ Umar Jamil ・ 27 分鐘（在新分頁開啟原站）
• Flow-based Deep Generative Models文章 ・ Lilian Weng（部落格）
• MIT 6.S191: Deep Generative Modeling影片 ・ Alexander Amini ・ 50 分鐘（在新分頁開啟原站）
• The Transformer Family Version 2.0文章 ・ Lilian Weng（部落格）
• Encoder-Only Transformers (like BERT) for RAG, Clearly Explained!!!影片 ・ StatQuest with Josh Starmer ・ 19 分鐘（在新分頁開啟原站）