# FineWeb Common Crawl から構築された高品質な英語 Web テキストコーパス(Penedo et al., 2024)。[[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] では EN-WEB-63B のサンプリング元として利用された。 ## 関連 - ソース: [[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]] ## 出典 - [[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]](30B/60Bトークンの事前学習実験、およびFineWeb-Eduのscore 3/4/5品質階層別サブセットの利用元)