# 摂動テストと不変性テスト ## 定義 摂動テスト・不変性テスト・方向性期待値テストは、デプロイ前にモデルの頑健性や公平性を確認するための入力操作型の評価手法群であり、いずれも「入力にある変更を加えたときに、出力がどう変化すべきか」という期待を明示的に検証する点で共通する。 **摂動テスト(perturbation test)**は、分割後のテストデータに軽微なノイズ(バックグラウンドノイズの追加、ランダムな切り取りなど)を加え、その変更がモデルの性能にどのような影響を与えるかを確認する手法である。開発時に使う入力は実運用時の入力と理想的には同様であるべきだが、多くの場合それは不可能であり、実運用の入力には開発時よりも多くのノイズが含まれる。病院で収集したクリーンな咳の録音で訓練したCOVID-19検知モデルが、BGMや周囲の話し声を含む実際のユーザー録音ではほぼランダムな予測しかできなかった事例が典型である。ノイズの影響を受けやすいモデルほどメンテナンスが難しく、敵対的な攻撃も受けやすくなる。クリーンなデータで最良のモデルではなく、摂動データで最良のモデルを選択したほうがよい場合がある。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.2.2.1) **不変性テスト(invariance test)**は、個人情報(人種・性別・氏名など)だけを変更しそれ以外はまったく同じ内容に保った入力が、出力に変化を及ぼすかどうかを確認する手法である。カリフォルニア大学バークレー校の調査では、2008年から2015年の間に信用力のある黒人やラテン系アメリカ人130万人が人種を理由に住宅ローンの申請を却下されており、申請の収入とクレジットスコアはそのままに人種を特定する要素だけを削除すると申請が受理されたことが判明した。人種の変更が住宅ローンの審査結果に影響してはならないように、応募者の名前の変更が履歴書の審査結果に、性別が給与額に影響してはならない。このような偏りが見つかった場合はモデルの性能がどれほど優れていても無用の長物になりうる。最初にモデルを訓練する段階で個人情報を特徴から取り除いておくとさらによい。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.2.2.2) **方向性期待値テスト(directional expectation test)**は、入力に対する変化に応じて出力がどの方向へ変化すべきかが予測できる場合に、その方向性が守られているかを確認する手法である。住宅価格を予測するモデルで、他の特徴を固定したまま敷地面積を増やしたときに予測価格が下がったり、敷地面積を減らしたときに予測価格が上がったりしてはならない。出力が予想と逆方向に変化した場合、モデルが正しく学習できていない可能性があり、デプロイ前にさらなる調査が必要になる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.2.2.3) ## 横断的知見 本 concept は現時点で単一ソース([[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]])のみに基づく。ただし関連する既存 concept との位置づけは次のとおり整理できる。[[不変性と同変性]]が扱う不変性 $\phi(x)=\phi(g(x))$ という数学的定式化は、幾何学的深層学習の文脈(CNNの平行移動不変性など)でアーキテクチャに組み込まれる設計原理として論じられるのに対し、本ページの不変性テストは同じ「入力への操作で出力が変わらない」という性質を、訓練済みモデルに対する事後的な検証項目(人種・性別のような保護属性への不変性)として扱う。前者はモデル設計時に構造的に不変性を保証する話であり、後者はモデルが(意図せず)不変であるべき属性に対して実際に不変かをテストで確認する話であり、適用対象(アーキテクチャの対称性 対 公平性)が異なる。両概念を数理的に接続する記述はまだどちらのソースにもなく、他ソースが加わった際に突き合わせを試みる。 ## 未解決の問い - 摂動テストで加えるノイズの種類・強度は、実運用で観測されるノイズ分布とどの程度一致させるべきか。本ソースは「軽微な変更」としか述べておらず、定量的な設計指針はない。 - 不変性テストが検出する偏りと、[[責任あるAI]]が扱うより広範な公平性指標(統計的パリティ、機会均等など)との対応関係はどうなっているか。本ソースは個人情報の変更が出力に影響しないことのみをテストし、既存の公平性指標フレームワークとの接続には触れていない。 - 方向性期待値テストは出力の方向性が明確に予測できるタスク(住宅価格と敷地面積)を前提とするが、方向性が自明でない特徴量(交互作用がある場合など)にはどう適用すべきか。 - 摂動テスト・不変性テスト・方向性期待値テストと[[敵対的摂動]]が扱う意図的な攻撃耐性は、どちらも入力操作に対する頑健性を扱うが、前者はランダム/意味論的な変更、後者は最悪ケースを狙った最適化された変更という違いがある。両者を統一的な頑健性評価のフレームワークに位置づけられるか、他ソースでの補完が必要。 ## 関連 - source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] - concept: [[不変性と同変性]](アーキテクチャレベルの不変性という異なる適用対象) / [[敵対的摂動]](意図的な最悪ケース摂動という隣接論点) / [[評価データ分布の設計]](評価データ設計という上位論点) / [[責任あるAI]](公平性という上位論点) / [[モデル評価のベースライン]] / [[モデルのキャリブレーションと信頼度測定]] ## 出典 - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 6章, §6.2.2.1〜§6.2.2.3.