## Memo
## Abstract
IT運用のための人工知能([[AIOps]])は、サービス障害の指標を特定するためのモデルの解釈など、様々な業務で組織に導入されている。実務家を誤解させないためには、AIOpsモデルの解釈は一貫している必要があります(つまり、同じタスクに関する異なるAIOpsモデルが特徴の重要性について互いに同意していること)。しかし、多くのAIOps研究は、解釈を導き出す際に、最適でない性能を持つモデルを解釈するなど、機械学習コミュニティで確立された慣行に違反しているが、そのような違反が解釈の一貫性に与える影響については研究されていない。
本稿では、AIOpsモデルの解釈の一貫性を、内部一貫性、外部一貫性、時間一貫性という3つの次元に沿って調査する。Googleクラスタジョブの障害予測とBackblazeのハードドライブ障害予測という2つのAIOpsタスクについてケーススタディを実施した。我々は、学習器によるランダム性、ハイパーパラメータのチューニング、データサンプリングは、一貫した解釈を生成するために制御されるべきであることを発見した。AIOps の AUC が 0.75 を超えるモデルは、低パフォーマンスのモデルに比べて、より一貫した解釈を得ることができます。最後に、スライディングウィンドウまたはフルヒストリーアプローチで構築されたAIOpsモデルは、タイヤデータセットで示されたトレンドと最も一貫した解釈を有する。本研究は、実務家がAIOpsモデルの解釈の一貫性を導き出すための貴重なガイドラインを提供する。
[[2021__TOSEM__Towards a Consistent Interpretation of AIOps Models__translations]]