# A Survey on Failure Analysis and Fault Injection in AI Systems ## 概要 Guangba Yu ほか(Sun Yat-Sen University / University of Naples Federico II / Chinese University of Hong Kong)による ACM TOSEM 掲載のサーベイ。AI システムを **AI Service・AI Model・AI Framework・AI Toolkit・AI Platform・AI Infrastructure の 6 層**に分け、各層で障害分析(Failure Analysis)と障害注入(Fault Injection)がどう行われているかを 142 件の研究から整理する。**3 つの研究設問**——(1) AI システムでよく起きる障害は何か、(2) 現在の FI ツールはどんな障害を模擬できるか、(3) 模擬された障害と実世界の障害の間にどんな乖離があるか——を立て、**最後の設問によって「FI ツールが再現できていない実障害」を可視化する**点が本サーベイの独自性である。 > [!abstract] 概要(abstract の日本語訳) > AI の急速な進展は、それを多様な領域へ統合することにつながっており、とりわけ大規模言語モデル(LLM)は人工知能生成コンテンツ(AIGC)における能力を大きく高めている。しかし AI システムの複雑さは、その脆弱性をも露呈させており、回復力と信頼性を確保するための頑健な障害分析(FA)と障害注入(FI)の手法が必要とされている。これらの技術の重要性にもかかわらず、AI システムにおける FA と FI の方法論についての包括的なレビューは存在しない。本研究は、AI システムの 6 つの層にまたがる既存の FA と FI の取り組みを詳細に調査することで、この空白を埋める。我々は 142 件の研究を体系的に分析し、3 つの研究設問に答える。すなわち、(1) AI システムに広く見られる障害は何か、(2) 現在の FI ツールはどの種類の障害(fault)を模擬できるか、(3) 模擬された障害と実世界の障害との間にどのような隔たりが存在するか、である。我々の知見は AI システム障害の分類体系を明らかにし、既存の FI ツールの能力を評価し、実世界の障害と模擬された障害との食い違いを浮き彫りにする。さらに本サーベイは、障害診断のための枠組みを提供し、FI の最新状況を評価し、AI システムの回復力を高めるために FI 技術の改善すべき領域を同定することで、この分野に貢献する。 ## 書誌情報 - 著者: Guangba Yu, Gou Tan, Haojia Huang, Zhenyu Zhang, Pengfei Chen(Sun Yat-Sen University)、Roberto Natella(University of Naples Federico II)、Zibin Zheng(Sun Yat-Sen University)、Michael R. Lyu(Chinese University of Hong Kong) - 媒体: ACM Transactions on Software Engineering and Methodology (TOSEM) - 発表: 2025-12 - URL: https://doi.org/10.1145/3732777 - 構成: 全 12 章(42 PDF ページ)。対象は 142 件の研究 - 原本: `.raw/theses/survey-2025-fault-injection-ai-systems/` ## 構成と主要テーマ 本サーベイの骨格は **AI システムの 6 層**であり、第 4〜9 章が各層に一対一で対応する。各層の章は「その層で観測される実障害(FA)」→「その層に注入できる障害(FI)」→「**両者のギャップ**」という 3 本立てで書かれ、**3 本目が本サーベイの独自性**である。 > [!note] 章分割について > 本文書は **6 層が原本の時点で第 4〜9 章として独立している**ため、本 wiki での章分割の追加操作は行っていない(本バッチの他のサーベイでは、分類体系が下位節に埋もれている文書で節単位への割り直しを行っている)。 ### 問題設定(第 1〜3 章) → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 1 Introduction]] — AI システムを 6 層に分解し、RQ1(頻発する障害は何か)・RQ2(FI ツールは何を模擬できるか)・RQ3(模擬と実世界のギャップは何か)を掲げる。**6 層の立体図(Figure 1)は各層に §4〜§9 の対応が振られており、章ページ間のナビゲーションハブになる**。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 2 Background and Definitions]] — Failure / Fault の定義、AI 対クラウドの障害比較、FA → FI の 4 段階ライフサイクルを定義する。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 3 Survey Methodology]] — Scopus + 双方向スノーボーリング(331 → 38 → 142 件、Cohen's κ=0.82)による収集と 6 層マッピングの手続き。 ### 6 層それぞれの FA と FI(第 4〜9 章) → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]] — FA 5 分類 9 種、FI 4 次元 6 ツール。**Defective Code と Configuration Fault が既存 FI ツール全てで未対応**。ChaosBlade のようなクラウド向けツールは AI 固有シナリオ(プロンプト攻撃)を考慮していない。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 5 FA and FI in AI Model]] — FA 3 分類 10 種。FI は**ミューテーションテスト**として DeepMutation / DeepMutation++ / MuNN / DeepCrime の 4 ツール・11 変異グループで比較する。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 6 FA and FI for AI Framework]] — 障害 6 グループ 16 種、FI 8 ツールは**すべて計装ベース**。Performance / Configuration Fault ほか 4 種が未対応で、TensorFlow 1/2 間のフレームワークダイバージェンスも課題。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 7 FA and FI for AI Toolkit]] — 障害 4 グループ 11 種、FI 4 ツールは**ファジング中心**。Temporal Safety Fault・NCCL Fault・NVLink Fault ほか 5 種が未対応で、**分散・並列計算向け FI 能力の欠如**が明示的に指摘される。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 8 FA and FI for AI Platform]] — 障害 10 型、FI 5 ツールで 6 型が未対応。**既存ツールが従来型クラウド基盤向けの設計であり、AI 特化の GPU 資源競合を扱えない**点が最大のギャップ。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 9 FA and FI for AI Infrastructure]] — 障害 10 型、FI 11 ツールで 4 型が未対応。**GPU/FPGA 向け FI の大半がソフトウェア/シミュレーションベース**であり、実ハードウェア故障の物理プロセスを正確に再現できない。 ### 総括(第 10〜12 章) → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 10 Threats to Validity]] — 研究選定妥当性とデータ妥当性(データ抽出プロトコル・6 層分類・ドメイン専門家レビュー、κ=0.82)。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 11 Future Opportunities of FI in AI Systems]] — 狙い撃ちした障害型カバレッジ拡大、層横断・複数同時注入、知的 FI ポリシー生成、フレームワーク横断の統一ツール、非計装型注入(eBPF / バイトコード)。 → [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 12 Conclusion]] — 6 層にわたる FA と FI の整理と、ギャップの提示を総括する。 ## 位置づけと影響 - **本サーベイの独自性は「FI ツールが再現できていない実障害」を層ごとに名指しした点にある**。多くのサーベイが手法を並べて終わるのに対し、本サーベイは RQ1(実障害)と RQ2(FI が模擬できる障害)を別々に集計し、**RQ3 でその差集合を各層の表として明示する**。結果として「どの層のどの障害型に FI ツールが存在しないか」が一覧できる。 - **未対応の障害には層をまたぐ共通性がある**。NCCL Fault と NVLink Fault は AI Framework 層(第 6 章)と AI Toolkit 層(第 7 章)の両方で未対応として現れ、GPU 資源競合は AI Platform 層(第 8 章)で最大のギャップとされる。**分散 GPU 環境に固有の障害が、層を問わず FI の空白になっている**という構図が、6 層を並べて初めて見える。 - **FI の実装様式が層によって分かれる**。AI Framework 層のツールは**すべて計装ベース**(コードに注入点を埋め込む)、AI Toolkit 層は**ファジング中心**(入力を歪めて探索する)。同じ「障害注入」という語が層によって別の技法を指しており、第 11 章が挙げる「フレームワーク横断の統一ツール」という方向はこの分断への応答として読める。 - **vault との接続**: [[GPUレジリエンス]] には、本サーベイのソフトウェア/シミュレーション FI ツール群と、この vault が別文書で蓄積してきた本番 LLM 学習クラスタ(Delta・ByteDance)の実測統計との**方法論的断絶**を記録した。あわせて HPC 時代(Titan・Blue Waters)の GPU 障害研究からの系譜も接続した。[[量子化]] には、DeepMutation++ の精度削減演算子(重み・状態・ゲート値)が**既存の高速化目的の量子化と「同じ操作・正反対の目的」**である対比を記録した。 - **原本の誤植を 1 件、テキスト欠落を 1 件検出した**。Figure 5 の印字キャプションは "Distribution of studies across layers" だが実際のグラフは年別研究数のヒストグラムである。また §3.4 末尾の Natella らへの言及が文の途中で途切れており、原本全文にも続きが存在しない。いずれも推測補完せず注記した。 ## 関連 - 概念: [[障害注入]] / [[Fault Localization]] / [[運用障害分析]] / [[カオスエンジニアリング]] ## 出典 - Guangba Yu et al., "A Survey on Failure Analysis and Fault Injection in AI Systems", *ACM Transactions on Software Engineering and Methodology*, 2025.