## Memo ## Memo with LLM ### 論文情報 - 論文のタイトル: Benchmarking Ethernet Interconnect for HPC/AI workloads - 著者と所属: Lorenzo Pichetti, Daniele De Sensi, Karthee Sivalingam (University of Trento / NVIDIA), Stepan Nassyr, Daniele Cesarini, Matteo Turisini, Dirk Pleiter, Aldo Artigiani, Flavio Vella - カンファレンス/ジャーナル名: SC24-W (Workshops of the International Conference for High Performance Computing, Networking, Storage and Analysis) - 発表年: 2024年 ### 論文概要 本論文は、ハイパフォーマンスコンピューティング（HPC）および人工知能（AI）ワークロードにおけるEthernetインターコネクトの性能を評価した研究である。伝統的にInfiniBandが優位であった領域に対し、100Gおよび200GのEthernet（RoCEv2）を用いた最新システムのベンチマーク結果を示し、大規模なメッセージ交換においてEthernetがInfiniBandに匹敵する競争力のある性能を持つことを明らかにしている。 ### 詳細解説 #### 問題設定 HPCおよびAIのワークロード、特に大規模な分散学習では、計算ノード間の高速かつ低レイテンシなインターコネクトが不可欠である。長年、InfiniBandがその高い帯域幅と低レイテンシ特性により標準的な選択肢であった。一方で、Ethernetは汎用性と費用対効果に優れるが、性能面でInfiniBandに劣るとされてきた。近年のRoCEv2（RDMA over Converged Ethernet）の普及に伴い、最新のEthernet技術がどこまでInfiniBandの性能に迫っているかを実機環境で検証することが求められている。 #### 提案手法 本研究では、100Gおよび200GのEthernetインターコネクトを採用した2つの実稼働HPCシステムを用いてベンチマーク評価を行った。具体的には、MPI通信パターンや集合通信（Collective Operations）を対象とし、帯域幅とレイテンシの観点から性能を測定した。また、InfiniBandを搭載した既存のシステムとの比較を行い、ネットワークファブリックがAI/HPCワークロードに与える影響を定量化した。 #### 新規性 SC24という最新のカンファレンスにおいて、100G/200Gという最新世代のEthernetハードウェアを用いた実証結果を報告している点が特徴である。特に、TOP500リストにおいてGbEベースのシステムが急増している背景を踏まえ、ベンダーニュートラルなSONiCやRoCEv2の成熟度が、InfiniBandの独占を打ち破るレベルに達していることを示唆している。 #### 実験設定 - **データセット/環境**: 100G Ethernetおよび200G Ethernetを搭載したHPCクラスタ。 - **評価指標**: 通信レイテンシ、メッセージサイズごとの実効帯域幅、集合通信（Allreduce等）の完了時間。 - **比較対象**: 同世代のInfiniBand搭載システム。 #### 実験結果 実験の結果、Ethernetベースのネットワークは、特に大きなメッセージサイズ（Large message exchanges）において、InfiniBandとほぼ同等の帯域幅性能を達成した。レイテンシに関しては依然としてInfiniBandに優位性があるものの、その差は以前の世代よりも縮まっており、多くのAI学習ワークロードにおいてEthernetが実用的な代替案になり得ることが示された。 ## Abstract 相互接続（インターコネクト）はHPCにおいて極めて重要であり、InfiniBandとEthernetが主要な技術となっている。Ethernetはその汎用性と費用対効果の高さから普及している一方で、InfiniBandは伝統的に高い帯域幅と低いレイテンシを提供してきた。しかし、業界の取り組みにより、新生のAIワークロード向けに高速かつ低レイテンシのインターコネクトを提供するためのEthernet標準の進化が推進されている。本研究では、100Gおよび200G Ethernetを使用した2つのシステムから得られた初期結果を分析する。我々の予備的な調査結果は、Ethernetベースのネットワークが、特に大きなメッセージ交換においてInfiniBandと密接に並ぶ競争力のある性能を示すことを示唆している。