## Memo ## Abstract [[AIOps]]（Artificial Intelligence for IT Operations）ソリューションは、大規模システムの運用中に生成される膨大なデータと機械学習モデルを活用し、ソフトウェアエンジニアのシステム運用を支援する。現場で生成される運用データは、運用環境やユーザーベースの変化などの要因によって常に進化するため、AIOpsソリューションのモデルは、導入後も常にメンテナンスする必要があります。先行研究では、現場にリリースする前にAIOpsモデルのパフォーマンスを向上させる革新的なモデリング技術に焦点が当てられていますが、いつ、どのようにAIOpsモデルを保守するかについては、まだ十分に調査されていません。本研究では、3つの大規模な公共運用データを対象としたケーススタディを実施し、性能、メンテナンスコスト、および安定性に関するさまざまなモデルメンテナンスアプローチを評価した。その結果、能動的なモデルメンテナンスアプローチは、定常的なアプローチよりも優れた安定した性能を達成することが確認された。特に、洗練されたモデルメンテナンスアプローチ（例えば、コンセプトドリフト検出、時間ベースのアンサンブル、オンライン学習アプローチ）を適用することで、単にAIOpsモデルを定期的に再トレーニングするよりも、より優れたパフォーマンス、効率性、安定性を提供することができる。さらに、いくつかのメンテナンスアプローチ（時間ベースのアンサンブルやオンライン学習など）は、モデルのトレーニング時間を短縮できるものの、モデルのテスト時間を大幅に犠牲にするため、高速かつ大量にオペレーションデータが到着し、即時の予測が求められるAIOpsソリューションへの適用を妨げる可能性があることが確認された。我々の知見は、実務家が運転データの進化を考慮し、AIOpsモデルを長期にわたって積極的に維持する必要があることを浮き彫りにした。また、我々の考察は、AIOpsのコンテキストに適合する、より効率的で効果的なモデルメンテナンス技術を調査するための、研究者や実務家の指針となる。