## Memo ## Abstract 本論文は、ユーザー関与データから継続的に学習する機械学習モデルにおいて、根本的な原因による性能劣化に対する説明可能なAI（[[XAI]]）の新しい応用を提示する。このようなシステムでは、単一の特徴の破損が、連鎖的な特徴、ラベル、概念のドリフトを引き起こす可能性がある。我々はこの技術を応用し、パーソナライズド広告で使用されるモデルの信頼性を向上させることに成功した。このようなシステムにおけるパフォーマンスの低下は、モデルの予測異常として現れます。これらのモデルは通常、何百ものリアルタイムデータ処理パイプラインによって生成された、あるいは他の上流モデルから派生した特徴を用いて継続的に学習される。これらのパイプラインのいずれかに障害が発生したり、上流モデルのいずれかが不安定になったりすると、特徴量が破損し、モデルの予測出力が実際の出力から逸脱したり、学習データが破損したりする可能性がある。特徴量と予測出力の因果関係は複雑であり、システムの規模とダイナミズムのため、根本的な原因を突き止めることは困難である。我々は、大域的な特徴の重要度分布の時間的なシフトが、予測異常の原因を効果的に分離できることを実証する。この手法は、単純な摂動に基づく手法で局所的な特徴重要度を近似し、数千の例で集計した場合でも有効であるように見える。我々は、この手法がモデルにとらわれず、安価で効果的な方法であり、複雑なデータパイプラインを実運用で監視できることを発見し、継続的に訓練されたモデルの大域的な特徴重要度分布を継続的に分析するシステムを導入した。