The Most Absurd Way To Train LLMs... With 3x Less Memory!?

摘要

介紹 DiffusionBlocks 研究，展示如何用更少記憶體訓練大型語言模型且效能損失極小。觀眾可學習到利用該技術降低訓練成本的方法。

This video explains how DiffusionBlocks allows training LLMs with significantly less memory while maintaining performance.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• DiffusionBlocks

適合誰看

正在進行機器學習研究或想最佳化 AI 訓練成本的開發者。

摘要依據

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.70

新鮮

0.82

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Reiner Pope – The math behind how LLMs are trained and servedPodcast ・ Dwarkesh Podcast ・ 2 小時 14 分
• How are large language models trained?影片 ・ Google for Developers ・ 10 分鐘
• Deep Dive into LLMs like ChatGPT影片 ・ Andrej Karpathy ・ 3 小時 31 分
• Making Knowledge Distillation Cheap Enough to Run at Scale文章 ・ Hugging Face Blog
• Jongryool Kim - Disaggregated LLM Serving with Shared Memory KV Cache at Rack Scale影片 ・ Berkeley RDI ・ 5 分鐘
• The Impossible Triangle of LLM Infra文章 ・ swyx（部落格）