## Memo - [[2023__ICSE__An Empirical Study on Change-induced Incidents of Online Service Systems]] ## Memo with LLM ## Abstract ソフトウェアやサービスに大きく依存している企業にとって、変更によって引き起こされるインシデントを最小限に抑えるための効果的な変更管理は極めて重要です。残念なことに、実際には、サービス管理を強化するためにIT運用のための人工知能（[[AIOps]]）を効果的に使用することは、主にデータ品質が不十分であることが原因で、しばしば困難です。変更と誘発されるインシデントとの間に信頼できるリンクを確立することは、パターンの特定、変更展開の改善、リスクの高い変更の特定、およびインシデント対応の強化にとって極めて重要です。この研究では、AIOpsの手法による変更とインシデントの間のトレーサビリティの強化を調査する。我々のアプローチでは、インシデントを誘発する変更の精査、インシデントとその原因となった変更を結びつける手法の再現、適応した手法の導入、過去のデータと実践的な評価を用いた結果の実証を行う。その結果、インシデントを誘発する変化は、文脈によって異なる特徴を示すことが明らかになった。さらに、過去のデータに基づく評価と実世界の観察との間には大きな乖離が存在し、ラベル付けされていない変化とインシデントとの関連を特定する際に偽陽性の発生が増加する。この研究は、変更とインシデントの間のリンクを特定することの複雑な性質を浮き彫りにし、AIOps手法の有効性に対するコンテキストの影響を強調している。我々は、AIOpsアプローチによる現行データの品質向上に積極的に取り組んでいるが、データの不均衡のような問題に対処し、チケットを適切に管理することの価値に注意を喚起する[[ポストモーテム|Postmortem]]文化を促進するためには、さらなる対策が必要であることは依然として明らかである。変更失敗率をよりよく把握することは、リスクコンプライアンスの改善と信頼性の高い変更管理に貢献する。