# OptProphet [[Nankai University]] の AIOps グループが提案した、大規模 LLM 訓練クラスタの**光トランシーバー故障の予測と分類を統合**した dual-gate MoE フレームワーク(APNet 2025、[[@2025__APNET__Forewarned is Forearmed - Joint Prediction and Classification of Optical Transceiver Failures in Large-Scale LLM Training Clusters]])。特徴量集約(feature aggregation)で時間的依存関係と物理的結合をモデル化し、不均衡なデータ分布を自動的に処理することで、予測の感度と分類の特異度を高める。(Source: [[@2025__APNET__Forewarned is Forearmed - Joint Prediction and Classification of Optical Transceiver Failures in Large-Scale LLM Training Clusters]]) - **Feature Aggregation**: Interpretable Feature Extraction(IFE、statistical/temporal/spectrum の 3 種)でメトリクス内の時間的依存関係を、Attention-Enhanced Feature Representation(AEFR、Transformer エンコーダの self-attention)でメトリクス間の物理的結合をモデル化する。 - **Data Augmentation**: Information-Aware Undersampling(IAU)と Feature-Weighted Oversampling(FWO)を分類難易度に基づき自動combineし、手動設定なしにデータ不均衡へ対処する。 - **Multi-task Mechanism**: dual-gate MoE アーキテクチャで、故障予測ゲート(グローバルな健全→リスク状態遷移を長期トレンドでモデル化)と故障分類ゲート(リスク段階内の局所的な故障固有信号異常を分離)を統一する。 - 故障予測で平均 F1 スコア 0.884、平均 1.11 日前(D1 0.93 日・D2 1.29 日)にアラームをトリガー。 - 故障分類で平均 F1 スコア 0.855。 - [[Huawei Technologies]] の実運用 LLM 訓練クラスタ 2 系統(D1: 10,804 台・20 日、D2: 3,394 台・30 日)で SOTA ベースライン(Zhang et al. 2021 / Sun et al. 2023 / Pei et al. 2024)を凌駕。multi-gated MoE を XGBoost に置換したアブレーションでは D1 Task#1 の Recall が 0.871→0.284 に崩壊し、マルチタスク MoE の寄与を裏づける。 - (Source: [[@2025__APNET__Forewarned is Forearmed - Joint Prediction and Classification of Optical Transceiver Failures in Large-Scale LLM Training Clusters]]) ## 関連 - ソース: [[@2025__APNET__Forewarned is Forearmed - Joint Prediction and Classification of Optical Transceiver Failures in Large-Scale LLM Training Clusters]] - 所属: [[Nankai University]] - 著者: [[Sibo Xia]] / [[Shenglin Zhang]] / [[Yongqian Sun]] / [[Junhua Kuang]] - 評価対象: [[Huawei Technologies]] - 概念: [[障害予測]] / [[RDMAネットワーク監視]] / [[GPUクラスタ運用]] / [[耐障害LLM訓練]]