# Pathways [[Google]] が開発した、数千のアクセラレータに跨る ML ワークロード向けの分散実行システム。[[@2022__MLSys__Pathways - Asynchronous Distributed Dataflow for ML]](MLSys 2022)で提案された。クライアント・サーバアーキテクチャを採り、システム管理下の「アイランド」単位のコンピュートリソースを多数のクライアントに代わって実行する。 ## 設計の核 - **単一コントローラモデル**: [[TensorFlow]] v1 に近い柔軟な表現力を持ちながら、複数コントローラ方式(JAX・PyTorch・MPI 系)並みの性能を、非同期分散データフローと並列非同期ディスパッチによって達成する。 - **クロスホスト協調**: Google の既存(closed-source)本番シャーディングデータフローシステム **PLAQUE** に依存する。 - **ターゲットハードウェア**: [[Google TPU]] を主対象とするが、著者らはアーキテクチャ選択の大半が大規模 GPU システムにも妥当すると考察している。 - **プログラミングモデル**: JAX(および TensorFlow)のソースプログラムをターゲットにでき、JAX コードをほぼ無改変のまま複数 TPU pod へスケールさせる代替バックエンドとして機能する。 ## 実証された性能 SPMD 計算では 2048 TPU 規模で複数コントローラ方式と同等(約100%のアクセラレータ利用率)、16 段パイプラインに分割した 3B パラメータ Transformer や、データセンターネットワークで結ばれた 2 つのアクセラレータアイランドに跨るシャーディングでも SPMD 並みのスループットを達成した。詳細は [[@2022__MLSys__Pathways - Asynchronous Distributed Dataflow for ML]] を参照。 ## 関連 - ソース: [[@2022__MLSys__Pathways - Asynchronous Distributed Dataflow for ML]] - エンティティ: [[Google]] / [[Google TPU]] / [[TensorFlow]] - 概念: [[非同期分散データフロー]] / [[パイプライン並列化]] / [[LLM分散学習]] ## 出典 - [[@2022__MLSys__Pathways - Asynchronous Distributed Dataflow for ML]]