How to finetune LLMs on custom data domains (CPT tutorial with Unsloth)

摘要

示範如何使用 Unsloth 工具對 SmolLM-135M 模型進行持續預訓練（CPT），將通用語言模型轉化為特定領域專家。觀眾可學習利用 Huggingface 生態系統在本地環境中快速調整大型語言模型。

This video demonstrates how to fine-tune a local language model using Continued Pretraining with the Unsloth tool.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• Unsloth
• Huggingface
• SmolLM-135M

適合誰看

正在學習如何調整大型語言模型或需要建立領域專家的開發者。

摘要依據

講者

AVB

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.35

新鮮

0.48

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Small Language Model Alignment - Finetune SLMs to ALWAYS pick the best answer (Unsloth DPO)影片 ・ Neural Breakdown with AVB
• Tiny Language Models - How to build INSANELY FAST local models! (Unsloth, Outlines)影片 ・ Neural Breakdown with AVB
• Finetuning Open-Source LLMs影片 ・ Sebastian Raschka ・ 20 分鐘
• 手把手教你从零微调一个专属领域大模型，零基础也能学会！影片 ・ code秘密花园 ・ 1 小時 42 分
• Notes on Midtraining文章 ・ Deep (Learning) Focus（Cameron R. Wolfe）
• Build an LLM from Scratch 7: Instruction Finetuning影片 ・ Sebastian Raschka ・ 1 小時 46 分