# Megatron-LM NVIDIA による state-of-the-art の OSS LLM 訓練フレームワーク。3D parallelism(data + tensor + pipeline)を統合しハードウェア資源を活用する。tensor parallelism と interleaved 1F1B pipeline scheduling を提供する。(Source: [[2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]], §2, §6.1) - リポジトリ: github.com/NVIDIA/Megatron-LM - [[MegaScale]] はこの上に構築され、本番ベンチマークの比較対象。MegaScale は 175B・12,288 GPU で Megatron-LM 比 1.34× MFU(55.2% vs 41.2%)。 - 並列化戦略の文献では tensor parallelism の 1-D 分割の代表として参照される([[並列化戦略]])。 ## 関連 - ソース: [[2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]] - エンティティ: [[MegaScale]] / [[ByteDance]] - 概念: [[並列化戦略]] / [[LLM分散学習]]