【生成式AI導論 2024】第17講：有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理)

摘要

由李宏毅講授，深入解析生成式 AI 如何產生圖片與影片，涵蓋從視覺語言模型到 Sora 背後的原理。內容說明如何利用深度學習自動提取特徵，並透過多階段生成策略提升畫質與幀數，同時探討影像生成在 VTuber 與影像修復等領域的應用。

This course explains how generative AI creates images and videos, covering principles like Sora, multi-stage generation, and practical applications in VTubers and restoration.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 介紹影像作為輸入條件的生成式 AI 與直接產出影像的兩種方向。
• 解析 Sora 等模型如何利用多階段生成策略提升畫質與連貫性。
• 討論影像生成技術在 VTuber、影像修復與畫質提升的實際應用。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00影像生成式 AI 的兩種運作方向
2. 03:29Sora 文字生影片的原理與 Demo
3. 07:48影片生影片與影像修復應用
4. 11:11Talking Head 讓照片人物說話
5. 14:57圖片與影像的畫素與幀結構
6. 21:48Patch 編碼器將圖片轉為 Token
7. 25:17利用 LAION 資料集訓練文字生圖
8. 29:54CLIP 模型如何評量影像生成品質
9. 33:16透過特殊符號進行個人化影像生成
10. 36:51文字生影片與文字生圖的架構差異
11. 40:07最佳化 Attention 機制以減少運算量
12. 45:55分階段提升解析度與幀數生成影片

提到的工具與公司

• Sora
• GPT-4o
• Stable Diffusion
• Imagen
• LAION
• VTuber

適合誰看

正在學習生成式 AI 原理、希望了解影像生成技術或相關應用案例的初學者至進階學員。

摘要依據

講者

李宏毅

依據

人工字幕

為什麼排在這裡

人氣

0.49

新鮮

0.04

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• 【生成式AI導論 2024】第18講：有關影像的生成式AI (下) — 快速導讀經典影像生成方法 (VAE, Flow, Diffusion, GAN) 以及與生成的影片互動影片 ・ Hung-yi Lee ・ 37 分鐘
• Openai Sora 上【论文精读·55】影片 ・ 跟李沐学AI ・ 1 小時 4 分（在新分頁開啟原站）
• EP 46. 深度解读 OpenAI Sora（下）：一线投资人与创业者眼里的AI应用新格局Podcast ・ OnBoard! ・ 1 小時 12 分
• OpenAI Sora的失败与重生影片 ・ 硅谷101 ・ 3 分鐘（在新分頁開啟原站）
• Lesson 11 2022: Deep Learning Foundations to Stable Diffusion影片 ・ Jeremy Howard ・ 1 小時 48 分（在新分頁開啟原站）
• Ep 76: Sora Creators Bill Peebles, Rohan Sahai & Thomas Dimson on Their Unexpected Viral SuccessPodcast ・ Unsupervised Learning ・ 1 小時 3 分