# TopoOpt ## 概要 TopoOptは、MIT・CMU・Metaの研究者らが提案した、深層ニューラルネットワーク(DNN)訓練ジョブ向けのdirect-connect光ネットワークシステムである(NSDI 2023、arXiv:2202.00433)。計算・通信・物理ネットワークトポロジの3次元を交互最適化することで、ネットワークトポロジとDNNのパラレル化戦略(データ並列/モデル並列/ハイブリッド)を協調的に決定する。(Source: [[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]]) ## 主な構成要素 - **direct-connectファブリック**: 各サーバーが\(d\)個のインターフェースで\(d\)台の光スイッチ(光パッチパネル・3D-MEMS等)に接続され、ジョブ専用パーティションに再構成できる。 - **TotientPermsアルゴリズム**: オイラーのトーシェント関数に着想を得た群論的手法で、AllReduceトラフィックの可変性(mutability)を利用し、探索空間を\(O(n/\ln n)\)まで削減してAllReduce用のリング置換集合を求める。 - **ホストベースRDMAフォワーディング**: NICのネットワークパーティショニング(NPAR)機能を用い、direct-connect上で任意ホスト間通信をRDMAで中継する。 - **12ノードプロトタイプ**: NVIDIA A100 GPU・100Gbps NIC・Telescent光パッチパネルによる実機実証。 ## 評価結果の要点 同コストのFat-treeと比較して訓練イテレーション時間を最大3.4倍短縮し(共有クラスタ・全負荷時のテイル性能)、理想的な全二分帯域幅スイッチと比較してコストは平均3.2倍安い。Metaでの導入評価が進行中とされる(2023年時点)。(Source: [[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]]) ## 関連 - [[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]] - [[AIデータセンタートポロジ]] - [[データセンターネットワークトポロジ]] - [[集合通信]] ## 出典 - [[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]]