# Incident Metrics in SRE ## 概要 [[Google]] のサイト信頼性エンジニア [[Štěpán Davidovič]] が 2021 年に O'Reilly から刊行した単章構成のレポート。「プロセス変更や製品導入がインシデント対応を改善したか」を MTTR(平均復旧時間)で判定できるかという問いに対し、モンテカルロシミュレーションと 4 つの実データセットを用いて**否**と結論づける。業界で信頼性の主要業績評価指標として広く推奨されてきた MTTx を、統計的な検出力の観点から正面から棄却した一次文献であり、以後の MTTR 批判(VOID・Datadog・TTX メトリクス)がくり返し参照する土台になっている。 ## 書誌情報 - **原題**: *Incident Metrics in SRE: Critically Evaluating MTTR and Friends* - **著者**: Štěpán Davidovič(Google SRE) - **出版社**: O'Reilly Media(Google Cloud 協賛) - **発行**: 2021 年 3 月 19 日(第 1 版) - **ISBN**: 978-1-098-10313-2 - **構成**: 全 1 章(本文 29 ページ、図 10 点・表 7 点)。章の内部は「インシデントのライフサイクルと時間」「改善の分析」「解析的アプローチ」「大企業のインシデントデータセット」「データ品質の問題か」「なぜ MTTx はおそらく誤解を招くか」「より良い分析の選択肢」「結論」の 8 節に分かれる - **URL**: [Google SRE 配布版](https://static.googleusercontent.com/media/sre.google/ja//static/pdf/IncidentMeticsInSre.pdf) - **謝辞**: Kathy Meier-Hellstern、Ben Appleton、Michael Brundage、Scott Williams、Cassie Kozyrkov - **原本**: `.raw/books/incident-metrics-in-sre/` ## 構成と主要テーマ 単章構成のため、取り込みは章 source 1 枚とする。 → [[@2021__OReilly__Incident Metrics in SRE]] — インシデント継続時間の分布(正の歪み・高分散)を 4 データセットで示し、10 万回のモンテカルロシミュレーションで「実際に 10% 短縮しても MTTR では検出できない/何も変えなくても偽の改善が見える」ことを実証。中央値・95 パーセンタイル・幾何平均・合計でも解決せず、Google の大規模データでも年間 5.3% の検出が限界であることを示したうえで、問いに合わせた指標・ユーザースタディ・SLI/SLO を代替として提示する。 主要テーマは 3 つに整理できる。 1. **分布の性質からの棄却**: インシデント継続時間は正の歪みを持ち(対数正規に近い)、分散が平均を上回る。この性質は 3 社の公開データと Google 内部データに共通し、企業規模や本番運用の厳格さに依存しない。 2. **代替統計への逃げ道を塞ぐ**: 「平均が外れ値に弱いなら中央値を使えばよい」という一般的な処方を、中央値・95 パーセンタイル・幾何平均・合計継続時間のそれぞれについてシミュレーションで潰す。問題は「平均」ではなく件数の少なさと分散の高さにある。 3. **処方箋は指標の置き換えではなく検定手続き**: 「これを使え」という代替指標(シルバーバレット)は存在しないと明言し、代わりに「採用しようとしている指標を自分のデータでシミュレーションにかけ、意味のある変化を検出できるか確かめよ」という手続きを提示する。 ## 影響と位置づけ - MTTR 批判の一次統計文献として、[[@2022__SREcon22Americas__Tales from the VOID - The Scary Truth About Incident Metrics]](VOID の実分布による裏づけ)、[[@2025__SREcon25Americas__Incident Management Metrics that Matter]](逆インセンティブと組織的動機づけの側面)、[[TTXメトリクス]](フェーズ分解による細粒度計測)にそれぞれ異なる方向で引き継がれた。 - 著者は翌年の [[@2022__SREcon22EMEA__Measuring Reliability - What Got Us Here Won't Get Us There]] で、本レポートが代替として挙げた SLI/SLO 自体の限界へ議論を進めている。本レポートで「将来の研究」として留保した論点の続きにあたる。 - 著作権コンテンツのため章 source ページは `publish: false` とする。 ## 関連 - 著者: [[Štěpán Davidovič]] / 所属: [[Google]] - 概念: [[インシデントメトリクス]] / [[TTXメトリクス]] / [[インシデント管理]] / [[サービスレベル目標]] / [[DORA]] / [[統計的有意性]] - 関連 MOC: [[structures/SRE - MOC|SRE - MOC]] ## 出典 - Štěpán Davidovič, *Incident Metrics in SRE: Critically Evaluating MTTR and Friends*, O'Reilly Media, 2021.