## Memo ## Memo with LLM ### 論文情報 - 論文のタイトル: PipeDream: generalized pipeline parallelism for DNN training - 著者と所属: Deepak Narayanan, Aaron Harlap, Amar Phanishayee, Vivek Seshadri, Nikhil R. Devanur, Gregory R. Ganger, Phillip B. Gibbons, Matei Zaharia (Stanford University, Carnegie Mellon University, Microsoft Research) - カンファレンス/ジャーナル名: SOSP (Symposium on Operating Systems Principles) - 発表年: 2019 ### 論文概要 本論文では、GPUを用いたDNNトレーニングのための並列化システム「PipeDream」を提案しています。PipeDreamは、モデル並列化とデータ並列化を組み合わせ、さらにバッチ間のパイプライン処理（Pipeline Parallelism）を導入することで、通信オーバーヘッドを大幅に削減し、計算リソースの利用率を向上させます。実験の結果、従来のデータ並列化手法と比較して、収束までの時間を最大5.3倍高速化できることが示されました。 ### 詳細解説 #### 問題設定 DNN（Deep Neural Network）のトレーニングは計算負荷が高く、複数のGPUを用いた並列化が不可欠です。しかし、既存の並列化手法には限界があります。 - **データ並列化 (Data Parallelism)**: 全パラメータを同期する必要があり、モデルサイズやGPU数が増えると通信がボトルネックになります。 - **モデル並列化 (Model Parallelism)**: モデルを分割して配置しますが、単純な実装では前の層の計算待ちが発生し、GPUのアイドル時間が長くなります。 入力は大規模なDNNモデルとトレーニングデータセットであり、出力はトレーニング済みのモデルパラメータです。目的は、精度を損なわずにトレーニング時間を短縮することです。 #### 提案手法 PipeDreamは「一般化されたパイプライン並列化 (Generalized Pipeline Parallelism)」を提案します。 1. **パイプライン実行 (Pipeline Execution)**: モデルを複数のステージに分割し、異なるGPUに配置します。複数のミニバッチを連続してパイプラインに投入することで、異なるステージ（GPU）が同時に異なるミニバッチの計算を行うことができ、アイドル時間を削減します。 2. **1F1Bスケジューリング**: 定常状態において、各ワーカーが「1回の順伝播 (Forward pass) と1回の逆伝播 (Backward pass)」を交互に行うスケジュールを採用します。これにより、メモリ使用量を抑えつつ、パイプラインのストールを最小限にします。 3. **Weight Stashing (重みのバージョニング)**: パイプライン処理では、順伝播時と逆伝播時でモデルの重みが更新されてしまう問題（staleness）があります。PipeDreamは、順伝播で使用した重みのバージョンを保持（stash）し、対応する逆伝播で同じ重みを使用することで、勾配計算の正当性を保証します。これにより、同期的な更新を行わなくてもモデルが収束します。 4. **自動分割アルゴリズム**: プロファイリング結果に基づき、計算負荷のバランスと通信量の最小化を考慮して、モデルの各層を自動的にGPUに割り当てます。必要に応じて層を複製（データ並列化の要素）することも可能です。 #### 新規性 - **非同期パイプラインと正当性の両立**: GPipeなどの同期型パイプラインとは異なり、非同期的に処理を進めつつ、Weight Stashingによってトレーニングの安定性を維持する点が新規です。 - **一般化された並列化**: モデル並列化、データ並列化、パイプライン並列化を統合し、ハードウェア構成やモデル構造に応じて最適な分割を自動探索する点が既存手法（FlexFlowなど）より優れています。特に、通信量削減効果はデータ並列化と比較して顕著（最大95%削減）です。 #### 実験設定 - **データセットとモデル**: VGG16, ResNet-50, Inception-v3, S2VT (Seq2Seq), GNMT (翻訳モデル) など、画像認識から翻訳タスクまで幅広く評価。 - **ハードウェア**: - Cluster A: 4x V100 GPU (Azure) - Cluster B: 8x V100 GPU (AWS) - Cluster C: プライベートクラスタ - **評価指標**: ターゲット精度に到達するまでの時間 (Time-to-accuracy)、スループット、通信オーバーヘッド。 #### 実験結果 - **高速化**: データ並列化と比較して、Time-to-accuracyで最大5.3倍の高速化を達成しました。 - **通信削減**: 大規模モデルにおいて、データ並列化と比較して通信量を最大95%削減しました。 - **スループット**: [[2019__NeurIPS__GPipe - Efficient training of giant neural networks using pipeline parallelism|GPipe]]などの同期アプローチや、単なるモデル並列化と比較しても高いスループットを実現しました。特に、GPU数が増加してもスケーラビリティが維持されることが確認されました。 ## Abstract PipeDreamは、複数のマシンにまたがって実行をパイプライン化することで計算を並列化する、GPU向けのディープニューラルネットワーク（DNN）トレーニングシステムです。そのパイプライン並列計算モデルは、大規模なモデルや制限されたネットワーク帯域幅が高い通信対計算比率を引き起こす場合にデータ並列トレーニングが直面する速度低下を回避します。PipeDreamは、データ並列トレーニングと比較して大規模DNNの通信を最大95％削減し、通信と計算の完全なオーバーラップを可能にします。PipeDreamは、作業のバランスを取り通信を最小限に抑えるためにDNN層を体系的に分割し、バックワードパスの正当性のためにモデルパラメータをバージョン管理し、"ターゲット精度までの時間"を最適化するために異なる入力のフォワードパスとバックワードパスをラウンドロビン方式でスケジュールすることで、すべての利用可能なGPUを生産的に維持します。2つの異なるクラスタ上の5つの異なるDNNを用いた実験では、PipeDreamがデータ並列トレーニングと比較して、精度到達時間において最大5倍高速であることが示されています。