Learning with not Enough Data Part 3: Data Generation

摘要

探討了資料不足時如何生成合成資料。作者介紹了兩種主要方法：一是資料增強，透過對現有樣本進行扭曲或轉換來保留關鍵屬性；二是新資料生成，利用預訓練語言模型產生新資料點。文章詳細列舉了影象、文字、音訊等多種資料增強策略，並深入討論了如何處理有噪聲標籤的資料，以及使用通用交叉熵等損失函式來提升模型的魯棒性。

This article explores generating synthetic data when training data is scarce. It introduces two main approaches: data augmentation, which modifies existing samples to retain key attributes, and new data generation using pretrained language models. The text details various augmentation strategies for…

重點

• 文章介紹了資料不足時生成合成資料的兩種主要方法：資料增強和新資料生成。
• 資料增強包括影象、文字、音訊等多種策略，如混合、裁剪、掩碼等。
• 處理有噪聲標籤的資料時，可採用通用交叉熵或曲線損失來提升模型魯棒性。

提到的工具與公司

• PIL.ImageOps
• BERT
• GPT-3
• SimCSE
• AutoAugment
• RandAugment

適合誰看

資料科學研究者、機器學習工程師、AI 研究者。

摘要依據

講者

Lilian Weng

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.00

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• How to Generate and Use Synthetic Data for Finetuning文章 ・ Eugene Yan（部落格）
• Learning with not Enough Data Part 1: Semi-Supervised Learning文章 ・ Lilian Weng（部落格）
• The Evolution of Reasoning in Small Language Models with Yejin Choi - #761Podcast ・ The TWIML AI Podcast ・ 1 小時 6 分（在新分頁開啟原站）
• Stanford CS229 Machine Learning | Spring 2026 | Lecture 11: Diffusion Models影片 ・ Stanford Online ・ 1 小時 23 分（在新分頁開啟原站）
• E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长影片 ・ 硅谷101播客 ・ 58 分鐘
• 【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊影片 ・ Hung-yi Lee ・ 35 分鐘（在新分頁開啟原站）