# インシデント検知 ## 定義 インシデント検知(incident detection)は、クラウドシステムの監視アラートやメトリクスなど運用シグナルから、顧客影響を伴う障害状況(インシデント)の発生を早期に判定する取り組みである。単一サービス内で完結する障害と異なり、複数サービスにまたがるインシデント(cross-service incident)は各チームがシステム全体の部分的な視界しか持たないために検知が遅れやすく、宣言までの時間が緩和時間全体の相当割合を占める。([[@2021__ATC__Fighting the Fog of War - Automated Incident Detection for Cloud Systems]]) Warden([[@2021__ATC__Fighting the Fog of War - Automated Incident Detection for Cloud Systems]])は、アラートのみを入力として時間窓ごとに2値分類モデル(Balanced Random Forest)でインシデント発生確率を推定し、閾値超過時に検知する。検知にとどまらず、Group Shapely Value (GSV)という独自のモデル解釈アルゴリズムでアラート信号のグループ単位の寄与度を評価し、インシデントの症状となっているアラート群(インシデント指示アラート)を特定してオンコールエンジニアへ通知する点が特徴である。 ## 未解決の問い - インシデント検知の「検知」と、アラート相関([[アラート相関]])における「根本原因サービスの推定」はどこまで技術的に統合可能か。Wardenのインシデント指示アラート識別(GSVによるグループ単位の寄与度評価)と、LinkedInのアラート相関([[アラート相関]])のCallgraphベースの根本原因推定は、いずれも「多発するアラートから本質的な部分集合を絞り込む」という同じ目的を持つが、前者はモデル解釈由来、後者はサービス依存グラフ由来とアプローチの系譜が異なる。両者を組み合わせた場合の効果は未検証。 - Wardenは症状(アラートパターン)ベースの検知であり根本原因を仮定しないと明言するが、この設計は根本原因分析(RCA)手法とどのように補完し合えるか。 - アラートのみを入力とする検知(Warden)と、多次元時系列メトリクスを入力とする異常検知([[異常検知]])は、それぞれどのような障害クラスに強みを持つか。Wardenの評価ではアラート数の急増を伴わないインシデントで異常検知ベースラインのrecallが著しく低下することが示されているが、逆にアラートが疎な段階での早期検知にはメトリクスベースの異常検知が有利ではないか。 - 学習データのインターリーブ間隔が長くなるほどF1が低下する現象(Wardenでは0〜80日でF1が減少傾向)は、他のインシデント検知システムでも共通して観測されるか。監視項目の追加・変更頻度と再学習頻度の最適な関係はどう定式化できるか。 ## 関連 - ソース: [[@2021__ATC__Fighting the Fog of War - Automated Incident Detection for Cloud Systems]] - 概念: [[アラート相関]] / [[異常検知]] - エンティティ: [[Warden]] / [[Microsoft Azure]] ## 出典 - [[@2021__ATC__Fighting the Fog of War - Automated Incident Detection for Cloud Systems]]