# DataComp-LM (DCLM) Navigation: [[index]] | [[hot]] ## 概要 DataComp for Language Models(DCLM)は、言語モデル(LM)の事前学習データセット設計を制御された条件で比較するためのベンチマーク兼テストベッドである(Source: [[@2024__NeurIPS__DataComp-LM - In search of the next generation of training sets for language models]])。以下の 3 要素で構成される。 - **DCLM-POOL**: Common Crawl の 2023 年以前の全データを resiliparse で再抽出した 200B 文書・240 兆トークンの生コーパス(公開最大級)。 - **標準化された学習レシピ**: OpenLM フレームワークに基づく固定アーキテクチャ・ハイパーパラメータ。 - **評価スイート**: LLM-Foundry ベースの 53 個の下流タスク(MMLU 5-shot、CORE 中心化精度、EXTENDED 中心化精度)。 参加者は 400M-1x〜7B-2x の 5 段階のスケールから選び、DCLM-POOL をフィルタリングする「フィルタリングトラック」か任意ソースを混合する「ミキシングトラック」でデータセットを構築し、固定レシピで学習したモデルの下流性能でデータセットの質を評価する。 ## DCLM-BASELINE DCLM の著者らが構築したベースラインデータセット。ヒューリスティッククリーニング(RefinedWeb 相当)→ Bloom フィルタによる近重複除去 → fastText(OH-2.5+ELI5 正例、上位 10% 閾値)によるモデルベースフィルタリングの 3 段階パイプラインで DCLM-POOL から構築する。このデータセットで学習した 7B モデル(2.6兆トークン)は MMLU 5-shot 64% を達成し、同時期の主要なオープンデータモデル(MAP-Neo)を 40% 少ない計算量で上回る(Source: [[@2024__NeurIPS__DataComp-LM - In search of the next generation of training sets for language models]])。 ## 関連 - [[@2024__NeurIPS__DataComp-LM - In search of the next generation of training sets for language models]] — 導入論文(NeurIPS 2024 Datasets and Benchmarks Track) - [[データキュレーション]] — モデルベースフィルタリング・重複排除・データ混合の横断概念 - [[Common Crawl]] — DCLM-POOL の抽出元