ChessLFM: 2000 Elo in 230M params

摘要

介紹如何用極小的 2.3 億參數模型，透過特定詞彙化、Stockfish 知識蒸餾與測試時搜尋，達到 2004 棋力等級。讀者可學習將通用語言模型轉化為專注棋盤的引擎，並掌握 SFT、HL-Gauss 與 GRPO 等訓練技巧。

This article details how to distill a tiny LLM into a strong chess engine using specialized tokenization, Stockfish knowledge distillation, and test-time search.

摘要、重點與章節標題由語言模型整理，細節（誰說的、數字、先後）可能有誤；要引用請以原始內容為準。

重點

• 將棋盤狀態與走法轉化為固定長度的獨特色符。
• 利用 Stockfish 進行知識蒸餾與強化學習訓練。
• 結合測試時搜尋提升模型在實際對弈中的表現。

提到的工具與公司

• LFM2.5-230M
• Stockfish 17.1
• WebGPU
• ONNX
• transformers.js
• HL-Gauss
• GRPO
• AlphaZero

適合誰看

具備機器學習基礎、想嘗試將通用模型轉化為垂直領域引擎的開發者。

摘要依據

講者

Maxime Labonne

依據

文章全文

為什麼排在這裡

人氣

0.75

新鮮

0.92

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• Finetuning Open-Source LLMs影片 ・ Sebastian Raschka ・ 20 分鐘
• How much does distillation really matter for Chinese LLMs?Podcast ・ Interconnects ・ 11 分鐘
• I trained (one of) the smallest Reasoning Language Models EVER from scratch影片 ・ Neural Breakdown with AVB
• Making Knowledge Distillation Cheap Enough to Run at Scale文章 ・ Hugging Face Blog
• 創客AI特技：10美元MCU跑LLM、用Tiny LLM跑虛擬水族箱文章 ・ MakerPRO
• 4-Bit Training for Billion-Parameter LLMs? Yes, Really.影片 ・ AI Coffee Break with Letitia ・ 16 分鐘