# Joshua Romero [[NVIDIA]] 所属の研究者・エンジニア。[[Oak Ridge National Laboratory]] との共同研究で [[Horovod]] の集団通信を改善し、NSDI 2022 に発表した。 ## 主要業績 - NSDI 2022: 応答キャッシュと大域ビットベクタによる非集中調整、テンソルグルーピングを Horovod に実装し、27,600 GPU([[Summit]] 全体)でスケーリング効率 0.93 と 1.54 エクサフロップス(FP16 持続性能)を達成。(Source: [[@2022__NSDI__Accelerating Collective Communication in Data Parallel Training across Deep Learning Frameworks]]) ## 関連 - ソース: [[@2022__NSDI__Accelerating Collective Communication in Data Parallel Training across Deep Learning Frameworks]] - 所属: [[NVIDIA]] - 共著者: Junqi Yin、Nouamane Laanait、Bing Xie、M. Todd Young([[Oak Ridge National Laboratory]]); Sean Treichler([[NVIDIA]]); Alex Sergeev(Carbon Robotics); Michael Matheson([[Oak Ridge National Laboratory]])