# パイプライン並列 ## 定義 パイプライン並列(pipeline parallelism, PP)は、モデルの層(レイヤー)を連続する複数のステージに分割し、各ステージを異なるデバイスへ割り当てて実行するモデル並列化の方式である。レイヤー内の行列演算を分割する[[テンソル並列]]と対比して「レイヤー間モデル並列」とも呼ばれる。推論サービングでは、入力データを複数のマイクロバッチに分割してパイプラインへ時系列的に投入し、各ステージが計算完了後に次段へ非同期に中間出力を転送しつつ次のマイクロバッチの処理へ移ることで、隣接ステージ間の通信のみでスループットを高める。テンソル並列がノード内の高帯域通信を前提とするのに対し、PP はステージ間通信帯域への要求が低く、帯域制約下でも高いスケーラビリティを持つ。(Source: [[@2025__NeurIPS__DynaPipe - Dynamic Layer Redistribution for Efficient Serving of LLMs with Pipeline Parallelism]]) ## 横断的知見 - 本 concept はまだ 1 ソース(DynaPipe)からのみ育っており、複数ソースを突き合わせた横断的知見はまだない。DynaPipe が示す知見は以下のとおり(将来ソースが増えたら、単一ソースの事実は上の定義・下の関連へ移し、本節には突き合わせで見えた観察のみを残す)。 - 推論サービングにおける PP は、学習(training)時の PP とは異なるボトルネックを持つ可能性がある。学習向けの Megatron-LM・Skywork-MoE の静的層再配分は、自己回帰生成に固有の「毎ステップ末尾ステージがサンプリング(logit 計算 + トークン選択)という追加処理を担う」という非対称負荷を想定していない。推論の PP 設計は、学習の PP 設計をそのまま流用できない領域を持つ。(Source: [[@2025__NeurIPS__DynaPipe - Dynamic Layer Redistribution for Efficient Serving of LLMs with Pipeline Parallelism]]) ## 未解決の問い - PP における層再配分(DynaPipe)と、[[Prefill-Decode分離]]・[[KVキャッシュ管理]]・[[テンソル並列]]の不均一分割(FailSafe の Cyclic KVCache Placement 等)は、同一クラスタ内でどう組み合わせるべきか。PP のステージ間層移動と TP のヘッド単位再配置は独立した最適化か、それとも競合するか。 - DynaPipe は単一クラスタ・PCIe/NCCL 環境での評価にとどまる。[[LLMサービング管理]] が扱うようなマルチインスタンス・オートスケーリング環境で、PP のステージ数自体が動的に変化する場合、層再配分アルゴリズムはどう再設計すべきか。 - 語彙並列(Vocabulary Parallelism)は訓練時のサンプリング由来バブルを解消するが、推論に適用するには厳密な同期が必要とされる。推論向けに同期コストを抑えた語彙並列と DynaPipe 型の動的層再配分を統合した場合、両者はどちらが支配的な改善要因になるか。 - MoE モデルでは Expert Parallelism が層間の負荷分布に影響する。PP + EP の組み合わせで、DynaPipe のようなサンプリング負荷対応の層再配分は Dense モデルと同様に機能するか(論文 Appendix A は Qwen3-30B-A3B で機能を確認しているが、EP 台数がより大きい構成での検証は課題として残る)。 ## 関連 - ソース: [[@2025__NeurIPS__DynaPipe - Dynamic Layer Redistribution for Efficient Serving of LLMs with Pipeline Parallelism]] - 概念: [[テンソル並列]] / [[LLM推論]] / [[LLMサービング管理]] / [[KVキャッシュ管理]] / [[並列化戦略]] / [[Prefill-Decode分離]] - エンティティ: [[Hongxin Xu]] / [[Tianyu Guo]] / [[Xianwei Zhang]] / [[Sun Yat-sen University]] / [[vLLM]] / [[SGLang]] ## 出典 - [[@2025__NeurIPS__DynaPipe - Dynamic Layer Redistribution for Efficient Serving of LLMs with Pipeline Parallelism]](サンプリング負荷起因のパイプラインバブルの特定・実行時間予測に基づく動的層再配分・非同期 KV キャッシュ移行によるサービング高速化)