インシデント影響測定 - yuuk1's Digital Garden

# インシデント影響測定 ## 定義インシデント影響測定(Incident Impact Measurement)とは、発生したインシデントが顧客・ビジネスにどれだけの実害をもたらしたかを、担当者の主観や経験則ではなく統計的手法で定量化するプロセスである。[[PayPal]] の [[Ashish Patel]] と [[Sriram Srinivasan]] は SREcon22 APAC(2022-12-07)で、この定量化の中心指標として **FCI(Failed Customer Interactions、失敗した顧客とのやり取り数)** を提案した([[@2022__SREcon22APAC__The Math behind the Incident Aftermath]])。 FCI は次の2要素の合算として算出される: (1) 正常時のベースライン予測トラフィック(6週間トリム平均などの時系列モデルで推定)と実測トラフィックとの乖離から得られる「欠損した成功件数」、(2) インシデント中に明示的にエラーを受けた顧客のやり取り件数(Missed CI)。この FCI をベースライン件数で正規化すると Availability(可用性)指標が得られ、実例では Baseline 99.9990% に対し実測 Availability 99.6171%、FCI 33,322 件という結果が示された(p.26)。さらに国・製品・ビジネス指標・マーチャント・ユニーク顧客の5軸でセグメンテーションすることで、影響の内訳を特定できる(p.27)。 ## 横断的知見 - **FCIは、業務ケース(business case)が抽象的に列挙するインシデントコストのカテゴリに対する具体的な定量化手法として機能する**: [[@2026__OReilly__Observability Engineering 2E - Chapter 26 The Business Case for Observability]] は運用ループの業務ケースを「稼働率向上」「インシデント対応の迅速化によるコスト削減」「インシデント未然防止によるコスト削減」「離職率低下によるコスト削減」という4カテゴリで説明するが、これらを実際に金額・件数で裏付ける具体的な計算方法は示さない。[[PayPal]] の FCI(失敗した顧客とのやり取り数)は、ベースライン予測トラフィックと実測トラフィックの乖離から「稼働率向上」と「インシデント対応の迅速化」を単一の指標(Availability・FCI件数)へ落とし込む具体的な計算式を提供しており、第26章が抽象的に述べる業務ケースのカテゴリに、FCIのような手法が数値的な裏付けを与えられることを示す。(Source: [[@2022__SREcon22APAC__The Math behind the Incident Aftermath]], [[@2026__OReilly__Observability Engineering 2E - Chapter 26 The Business Case for Observability]]) - **第27章の「影響声明(impact statement)」という助言は、FCIが埋める「どう計算するか」の空白を埋めない代わりに、FCIが射程外とする非金銭的・組織的な損害まで対象を広げる**: [[@2026__OReilly__Observability Engineering 2E - Chapter 27 Diagnosing Your Observability Investment]] は可視性のギャップを定量化する実践的助言として、ダウンタイムや障害の全損害(即時の収益損失にとどまらず、従業員のダウンタイム・SLA違反金・顧客離反等の「隠れたコスト」を含む)を評価する「影響声明」の作成を勧めるが、FCIのようなトラフィック乖離ベースの統計的算出式は示さず、あくまで「何を洗い出すべきか」というチェックリストにとどまる。FCIがベースライン予測トラフィックと実測トラフィックの乖離という単一の数式で「量」を厳密に測るのに対し、第27章の影響声明は算出手順を厳密化しない代わりに従業員ダウンタイムやSLA違反金といったFCIの射程外にある損害カテゴリまで含めており、両者は定量化の厳密さと対象範囲の広さでトレードオフの関係にあると読める。(Source: [[@2022__SREcon22APAC__The Math behind the Incident Aftermath]], [[@2026__OReilly__Observability Engineering 2E - Chapter 27 Diagnosing Your Observability Investment]]) - **不信頼性の式は「影響」を測定手法未指定の外生変数として置き、FCI はその変数を埋める具体的な算出法を提供する**: [[@2022__OReilly__Anatomy of an Incident - Chapter 4 Mitigation and Recovery]] は不信頼性を Unreliability ∝ Σ(TTD+TTR)/TBF × Impact という式で定式化するが、Impact 項をどう測定するかは規定しない(定性的に「影響の大きさ」とのみ述べる)。これに対し PayPal の FCI([[@2022__SREcon22APAC__The Math behind the Incident Aftermath]])は、ベースライン予測トラフィックと実測トラフィックの乖離から「失敗した顧客とのやり取り数」という単一の数値を導出する具体的な計算式を提供しており、Anatomy の式の Impact 項に直接代入できる候補になる。両者を組み合わせると、TTD/TTR/TBF という時間軸の指標([[クラウド障害ライフサイクル]])と FCI という影響軸の指標が、単一の不信頼性スコアへ統合される可能性がある。(Source: [[@2022__SREcon22APAC__The Math behind the Incident Aftermath]], [[@2022__OReilly__Anatomy of an Incident - Chapter 4 Mitigation and Recovery]]) ## 未解決の問い - FCI のようなトラフィック乖離ベースの定量指標は、[[インシデント重大度評価]] が扱うフラグベーススコアリング(法的・財務・ユーザー信頼等の多次元評価)とどう補完し合えるか。FCI は「量」を、フラグスコアリングは「質」を測る指標として併用できる可能性がある。 - ベースライン予測モデル(6週間トリム平均等)の精度は、トラフィックパターンが不規則なサービス(季節性の強いEコマース等)でどこまで維持できるか。 - セグメンテーション(国・製品・マーチャント等)の粒度は、モデルが「分単位集計による近似誤差」を抱える中でどこまで信頼できるか(p.31 の Approximation 課題との関係)。 - FCI を Anatomy 本の不信頼性の式(Unreliability ∝ Σ(TTD+TTR)/TBF × Impact)の Impact 項に代入した場合、[[クラウド障害ライフサイクル]] が扱う TTD/TTI/TTM/TBF の実測値(Li+ 2022)と単位・時間粒度をどう揃えるか。FCI は「累積した失敗件数」、TTX は「経過時間」であり、両者を単一のスコアへ合成する正規化方法は未検討。 ## 関連 - ソース: [[@2022__SREcon22APAC__The Math behind the Incident Aftermath]] / [[@2026__OReilly__Observability Engineering 2E - Chapter 27 Diagnosing Your Observability Investment]] / [[@2022__OReilly__Anatomy of an Incident - Chapter 4 Mitigation and Recovery]] - エンティティ: [[Ashish Patel]]、[[Sriram Srinivasan]]、[[PayPal]] - 関連概念: [[インシデント重大度評価]](質的・フラグベースの重大度評価との対比)、[[ビジネスモニタリング]](ビジネス KPI による顧客影響把握という共通の問題意識)、[[インシデント管理]]、[[クラウド障害ライフサイクル]](TTD/TTR/TBF という時間軸指標との統合可能性) - 関連 MOC: [[structures/000 Index.md|000 Index]] ## 出典 - [[@2022__SREcon22APAC__The Math behind the Incident Aftermath]](FCI 算出式・可用性測定実例・セグメンテーション・p.17-27) - [[@2026__OReilly__Observability Engineering 2E - Chapter 26 The Business Case for Observability]](運用ループのコスト削減カテゴリの抽象的枠組み) - [[@2026__OReilly__Observability Engineering 2E - Chapter 27 Diagnosing Your Observability Investment]](「影響声明」による可視性ギャップの定量化助言) - [[@2022__OReilly__Anatomy of an Incident - Chapter 4 Mitigation and Recovery]](不信頼性の式における Impact 項の未規定性)