# MEGATRACE [[Beihang University]] と [[Infrawaves]] が共同開発した、本番規模 LLM 訓練クラスタ向けの軽量プロファイリング・トラブルシューティングフレームワーク([[@2026__ICDCS__MEGATRACE - Troubleshooting Hang and Slowdown in Large-scale LLM Training Clusters]], ICDCS 2026)。 - NCCL 集合通信 API 呼び出し(計算の narrow waist)と RDMA Work Request(通信の narrow waist)という 2 点のみを計装する非侵入設計で、オーバーヘッド 0.16% を実現。 - 訓練スケジュール(TP/PP/DP)から反復ごとの依存 DAG を再構築し、クリティカルパス分析でパイプラインバブルに吸収される偽陽性を除去したうえで、いつ・どのランク・どの実行ステージで異常が起きたかを一貫して特定する。 - ハング検知で F1=1.00(100% precision)、スローダウン局所化で F1=0.95([[MegaScale]] 0.84・[[Minder]] 0.89・[[Holmes]] 0.93 を上回る)を達成。 - [[Infrawaves]] の 2 つの本番クラスタに展開され、数万件のジョブを処理。オープンソース(https://github.com/sii-research/Megatrace.git)。 ## 関連 - ソース: [[@2026__ICDCS__MEGATRACE - Troubleshooting Hang and Slowdown in Large-scale LLM Training Clusters]] - エンティティ: [[Infrawaves]] / [[Megatron-LM]] / [[NCCL]] / [[MegaScale]] / [[Minder]] / [[Holmes]] / [[GreyHound]] / [[C4]] / [[Aegis]] / [[Fangzheng Jiao]] / [[Menghao Zhang]] / [[Chunming Hu]] - 概念: [[LLM学習モニタリング]] / [[クリティカルパス分析]] / [[Fault Localization]]