# ByteDance 数十億ユーザー規模の製品に AI を組み込む企業。LLM を製品の将来を形作る最優先事項に位置づけ、10,000 GPU 超の AI クラスタを構築して LLM を訓練する。LLM 訓練本番システム [[MegaScale]] の開発主体。(Source: [[2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]]) 2023-09 時点で本番 LLM 訓練向け最大クラスタは 10,000 NVIDIA Ampere GPU 超。veScale(github.com/volcengine/veScale)で一部コンポーネントを OSS 化予定。 ## 関連 - ソース: [[2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]] - エンティティ: [[MegaScale]] / [[Megatron-LM]] - 概念: [[LLM分散学習]]