# DeepSpeed [[Microsoft]] が開発した、メモリ最適化(ZeRO)と 3D parallelism を実装する LLM 訓練の基盤ライブラリ。2020 年 2 月にオープンソース公開。(Source: [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]]) - GPUPerf は [[GPT-NeoX]] を通じて DeepSpeed + [[Megatron-LM]] の統合構成を性能モデリングのオペレータ分解対象とする。DeepSpeed-ZeRO のように計算と通信がオーバーラップしても、各ステップ末尾に DP 集団通信のセグメントで終わるという時間パターンは、後述の診断系でも手がかりになる。 - [[Aegis]](NSDI 2025)は、主流フレームワーク([[Megatron-LM]]・DeepSpeed)では CCL が独立差し替え可能なモジュールである点を利用し、顧客モデルコードを改変せず CCL を差し替えて診断情報を取る。DeepSpeed はその CCL 差し替えの代表例として挙がる。(Source: [[@2025__NSDI__Evolution of Aegis - Fault Diagnosis for AI Model Training Service in Production]]) - [[XPUTimer]](Flare)も DeepSpeed を含む 4 バックエンドを非侵入計装の対象とする。 - [[@2025__PMBS__Pretraining LLMs at Scale - Tuning Strategies and Performance Portability]] は、DeepSpeed ZeRO の性能を batch size・gradient accumulation・通信プリミティブの組み合わせとして実測する。論文執筆時点の既定 ZeRO Stage 2 は、DeepSpeed 論文上の説明と異なり reduce-scatter ではなく all-reduce で勾配集約しており、`reduce_scatter=true` だけでなく `use_multi_rank_bucket_allreduce=false` を設定する必要があると指摘する。(Source: [[@2025__PMBS__Pretraining LLMs at Scale - Tuning Strategies and Performance Portability]]) - [[@2023__SOSP__Gemini - Fast Failure Recovery in Distributed Training with In-Memory Checkpoints]](SOSP '23)は、DeepSpeed + ZeRO-3 の上に構築され、GPU マシンの CPU メモリへ毎イテレーションチェックポイントすることで障害復旧を 13 倍超高速化するシステム。DeepSpeed 自体の訓練効率化には手を加えず、その上位層としてチェックポイント配置と通信スケジューリングを追加する構成。(Source: [[@2023__SOSP__Gemini - Fast Failure Recovery in Distributed Training with In-Memory Checkpoints]]) - [[@2020__KDD__DeepSpeed System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters]](KDD 2020 チュートリアル概要): DeepSpeed の初出。ZeRO が当時最良比 3〜5 倍スループット、BERT 1024×V100 で 44 分(従来 67 分)、単一 V100 で 64 テラフロップス(ピークの 50% 超)。[[Jeff Rasley]] ら 4 名(Microsoft)が発表。172 億パラメータの Turing-NLG を実現した技術的基盤であることを宣言。 - [[@2020__SC__ZeRO Memory Optimizations Toward Training Trillion Parameter Models]](SC 2020 原論文): [[Samyam Rajbhandari]]・[[Yuxiong He]] ほかによる ZeRO の設計詳細。ZeRO-DP の 3 段階分割(Stage 1〜3)と ZeRO-R(Pa/CB/MD)の理論・実装・評価。400 V100 GPU で 100B パラメータを 15 ペタフロップスで訓練し、Turing-NLG(17B パラメータ、Webtext-103 ペルプレキシティ 10.21)の訓練を実現。これが DeepSpeed の中核技術として搭載された原典論文。 - SPPO([[@2026__ICS__SPPO - Making Million-Token LLM Training Practical on Modest GPU Clusters]])はベースラインの一つとして DeepSpeed-Ulysses(ZeRO + FPDT による活性化オフロード拡張版)を比較対象とし、ヘッドベース分割への依存によりアテンションヘッド数が限られるモデル(GPT-7B)やモデル規模が大きい場合(GPT-13B/65B)で512Kトークン超のスケーラビリティに欠けると報告した。(Source: [[@2026__ICS__SPPO - Making Million-Token LLM Training Practical on Modest GPU Clusters]]) - Wan+ のサーベイ([[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2)は、DeepSpeed を学習・微調整・推論すべてに対応する数少ないフレームワークの一つとして位置づける。3D Parallelism + ZeRO 系メモリ最適化(ZeRO-2・ZeRO Infinity・ZeRO-Offload)に加え、Expert Parallelism・FlashAttention・PagedAttention・Dynamic SplitFuse・継続バッチング・ZeroQuant/INT4/XTC の量子化バリエーション・RLHF まで機能を束ねる点が、同じく学習対応の Megatron-LM・Colossal-AI との差別化軸になっている。DeepSpeed-Inference の Dynamic SplitFuse(継続バッチング+非連続 KV キャッシュ)と DeepSpeed-Chat(RLHF 統合)は、この機能束の中でも推論・アライメント双方をカバーする点が特徴的。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]]) ## 関連 - ソース: [[@2020__SC__ZeRO Memory Optimizations Toward Training Trillion Parameter Models]] / [[@2020__KDD__DeepSpeed System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters]] / [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]] / [[@2025__NSDI__Evolution of Aegis - Fault Diagnosis for AI Model Training Service in Production]] / [[@2025__PMBS__Pretraining LLMs at Scale - Tuning Strategies and Performance Portability]] / [[@2023__SOSP__Gemini - Fast Failure Recovery in Distributed Training with In-Memory Checkpoints]] / [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: [[Microsoft]] - 関連実装: [[GPT-NeoX]] / [[Megatron-LM]] - 隣接フレームワーク: [[Colossal-AI]] / [[Nanotron]] - 概念: [[LLM分散学習]] / [[並列化戦略]] / [[集合通信]] / [[ZeROメモリ最適化]]