# Weiyang Wang MIT CSAIL の研究者。[[Manya Ghobadi]] と共に AI/ML クラスタ向けのネットワークシステムを研究する。 ## 主要業績 - Rail-only(arXiv 2307.12169): LLM 訓練のスパース通信パターンに基づきスパイン層を除去した低コスト・高性能ネットワークアーキテクチャを提案。コスト 38〜77%、消費電力 37〜75% 削減を達成。([[@2023__arXiv__Rail-only - A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters]]) - TopoOpt(NSDI 2023): ネットワークトポロジと並列化戦略の協調最適化。Ghobadi らとの共著。 - **TopoOpt**(NSDI 2023、第一著者): ネットワークトポロジとパラレル化戦略を協調最適化するdirect-connect光ネットワークシステムを提案。 同コストのFat-treeと比較して訓練イテレーション時間を最大3.4倍短縮する。([[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]]) ## 所属 [[MIT CSAIL]] (Massachusetts Institute of Technology, Computer Science and Artificial Intelligence Laboratory) ## 関連 - エンティティ: [[Manya Ghobadi]] / [[MIT CSAIL]] / [[TopoOpt]] - ソース: [[@2023__arXiv__Rail-only - A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters]] / [[@2023__NSDI__TopoOpt - Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs]] - 概念: [[LLM分散学習]] / [[並列化戦略]] / [[Fat-Tree]]