# NVIDIA SHARP NVIDIA SHARP（Scalable Hierarchical Aggregation and Reduction Protocol）は、ネットワークスイッチ内で集団通信の集約・リダクションを実行し、GPU や CPU の通信処理負荷と転送量を減らす NVIDIA の技術である。 Hopper 世代の第3世代 NVSwitch では、multicast と SHARP による網内リダクションをハードウェアで支援する。 公式記事は `all_gather`、`reduce_scatter`、broadcast atomic を対象例に挙げ、小さいブロックサイズの集団通信で A100 上の NCCL に対して最大2倍のスループット向上を主張する。 ## 関連 - 開発元: [[NVIDIA]] - ハードウェア: [[NVIDIA H100]] / [[NVLink]] - 通信: [[集合通信]] / [[NCCL]] ## 出典 - [[@2022__NVIDIA Developer Blog__NVIDIA Hopper Architecture In-Depth]]