# インシデント優先順位付け ## 定義 インシデント優先順位付け(Incident Prioritization)は、オンラインサービスシステムで自動報告される大量のインシデントを「対処すべき essential incidents」と「対処不要な incidental incidents」に分類し、後者を後回しにすることで OCE(On-Call Engineer)の有限な工数を essential に集中させるタスクである。[[@2020__ASE__How Incidental are the Incidents - Characterizing and Prioritizing Incidents for Large-Scale Online Service Systems]] が初めて定式化し、incidental incidents を **by design / customer error / won't fix / unable to reproduce / transient / false alarm** の 6 カテゴリで分類した。bug severity prediction(bug 報告の重大度予測)とは似て非なる問題で、incident は monitor の自動報告かつ時間相関を持つため、bug 系の手法をそのまま流用すると AUC が 0.6 前後にとどまる。 ## 横断的知見 - 現時点では [[@2020__ASE__How Incidental are the Incidents - Characterizing and Prioritizing Incidents for Large-Scale Online Service Systems]] が唯一の取り込み済みソース。複数ソースの突き合わせによる横断的知見は今後蓄積予定。 ## 未解決の問い - incidental incidents の 6 カテゴリ(by design / customer error / won't fix / unable to reproduce / transient / false alarm)は他社のオンラインサービス([[Amazon Web Services|AWS]]・[[Google Cloud]]・[[Tencent]]・[[Alibaba Cloud]] 等)でも再現するか。Microsoft の運用文化(monitor 中心の自動報告)に強く依存していないか。 - 「2 クラス分類(incidental vs essential)」の粒度は運用上十分か。false alarm は「monitor 再設計」、won't fix は「コード削除」、transient は「リトライ抑止」など、カテゴリごとに介入が異なるはずで、multi-class 分類 / カテゴリ条件付き出力の方が運用効率を上げる可能性がある(DeepIP の Conclusion でも future work として明記)。 - DeepIP のオフライン訓練時間は最大 19 時間(S10)。新サービス導入時のコールドスタート、訓練データの陳腐化([[インシデントTTM予測]] で TTMPred も同じ課題を持つ)に対応する継続学習・転移学習はどう設計すべきか。 - 現行 severity 割当(潜在影響顧客数ベースの 0〜4 段階)と、DeepIP の incidental 確率 ranking をどう統合するか。両者の組み合わせは本論文の射程外で、severity 0 でも incidental が 57.96% という構造的逆転をどう運用フローに翻訳するかは未解明。 - LLM エージェント時代の incident prioritization——RCA エージェントや自動緩和エージェントが介入する環境では、incidental か否かの判定基準そのものが変わる(自動修復可能なものは even further deprioritize できる)。[[OpsAgent]]・[[FLASH]] らの自動化エージェントと DeepIP 型の優先度判定を組み合わせる設計は未着手。 - [[アラート管理]] の Yu+ JNCA2024 が示す「alert と incident を別ライフサイクルとして扱う」設計と DeepIP の「全アラートを incident として扱う Microsoft 慣行 + 後処理での優先順位付け」設計はどちらが運用効率が高いか。両者を同一データセット上で比較した研究はない。 ## 関連 - ソース: [[@2020__ASE__How Incidental are the Incidents - Characterizing and Prioritizing Incidents for Large-Scale Online Service Systems]] - 概念: [[インシデント管理]](上位概念・ライフサイクル全体) / [[アラート管理]](上流ライフサイクル) / [[インシデントTTM予測]](緩和時間予測。Chen+ チームの後続研究) / [[異常検知]](false alarm はモニタ側の問題) - エンティティ: [[Microsoft]] / [[DeepIP]] / [[Junjie Chen]] / [[Qingwei Lin]] - 関連 MOC: [[AIOps - Failure Detection - MOC]] / [[SRE - MOC]] ## 出典 - [[@2020__ASE__How Incidental are the Incidents - Characterizing and Prioritizing Incidents for Large-Scale Online Service Systems]](§3 実証研究 RQ1〜4・§4 DeepIP アーキテクチャ・§5 評価 RQ5〜6)