Modality Misalignment and Originality Attribution in Short-Form Video — Aditya Gautam, Meta

摘要

Aditya Gautam 分享 Meta 如何處理百萬級短影片資料中的模態對齊與原創性歸屬問題。透過三個專責代理（觀察者、審查者、檢索者）與小型視覺語言模型，解決資料雜亂、多語言與無基準真值等挑戰，並最佳化成本與延遲。

Aditya Gautam explains Meta's multi-agent system for detecting modality misalignment and unoriginal content at massive scale using specialized VLMs and optimization techniques.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 建立觀察者、審查者與檢索者三個專責代理處理複雜任務。
• 使用小型視覺語言模型並透過預訓練與指令微調提升效能。
• 透過空間時間壓縮、快取與後設資料剪枝最佳化系統效率。

章節

依話題轉折切分，標題由 AI 產生

1. 00:00Two problems on short form video at 100 million plus scale
2. 01:20Messy data: adversarial, multilingual, drifting, no ground truth
3. 02:03Modality misalignment inside a single video
4. 03:01Unoriginal content, and why one agent is not enough
5. 04:22Reviewer, perceiver, retriever
6. 05:31Temporal analysis, then indexing into inverted, vector, and graph stores
7. 09:37The reviewer adds live user signals
8. 10:45Pretraining and instruction tuning specialized VLMs
9. 13:28DPO from production samples with humans in the queue
10. 16:05Distillation and quantization to make it scalable
11. 17:13Holistic evaluation: nodes, reasoning budgets, drift
12. 19:28Spatial temporal reduction, caching, metadata pruning
13. 20:35Takeaways

提到的工具與公司

• VLM
• Ray
• DPO

適合誰看

正在構建或最佳化大規模內容審核與多代理 AI 系統的工程師與架構師。

摘要依據

講者

Aditya Gautam

依據

自動字幕

為什麼排在這裡

人氣

0.64

新鮮

0.95

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Why Vision Language Models Ignore What They See with Munawar Hayat - #758Podcast ・ The TWIML AI Podcast ・ 58 分鐘
• Meta is back with Muse Glimmer: local, agentic, multimodal, and open source文章 ・ Hugging Face Blog
• Why Video Agent models are next — Ethan He, xAI Grok ImaginePodcast ・ Latent Space ・ 1 小時 43 分
• Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 17: Alignment - Multimodality影片 ・ Stanford Online ・ 1 小時 18 分
• Generalized Visual Language Models文章 ・ Lilian Weng（部落格）
• Skill issue: stop deploying vision language models, use them with Skills — Merve Noyan, Hugging Face影片 ・ AI Engineer ・ 19 分鐘