## 定義 入力データに対して人間の知覚では区別できないほど微小な変動（摂動）を加えることで、機械学習モデルの予測を意図した方向に変化させる技術・現象。元来は「AI の脆弱性」として捉えられていたが、Ilyas+ NeurIPS 2019 以降、**これらの摂動はモデル固有の癖でもランダムノイズでもなく、人間には認知できないが汎化する正当な分類手がかりを含む**という再解釈が主流となった。 ## 旧解釈と新解釈の対比 | 観点 | 旧解釈（2018 年以前） | 新解釈（Ilyas+ 2019 以降） | |------|---------------------|--------------------------| | 摂動の正体 | ランダムノイズ・モデルの癖 | クラス固有の特徴パターン | | AI の反応 | 脆弱性・バグ | 正当な分類根拠の利用 | | 人間との比較 | AI が騙される = 間抜け | 人間が見えていない = 人間の限界 | | 実用的含意 | 攻撃対策が主 | 人間との認知格差として研究 | ## Ilyas+ NeurIPS 2019 の実験 仮説を検証するために、「人間だけが騙されるデータセット」を構築した： 1. モデル A で犬画像から猫クラスの方向へ微小摂動 δ を生成。 2. (犬画像 + ε·δ) に「猫」ラベルを付け、逆も同様に構成した訓練データセットを作る。 3. このデータセットで別のモデル B を訓練すると、普通の（摂動なし）犬画像を「犬」と正答する。 人間はラベルが反転しているため正しく学習できないが、AI は摂動に含まれる非可視の分類手がかりを読み取り正しく汎化する。 ## 微弱信号の集積（Tsipras+ ICLR 2019） 個々には統計的に有意でない微弱な特徴も、高次元で束ねると強固な根拠になることを形式的に示した： - 100 万次元のうち各次元の信号差は人間が認知できないほど微弱（平均差 ±0.01、分散 1）。 - 全次元の平均を線形分類器に用いると精度 99.9999% 以上を達成。 - **要素還元主義的な単次元検定では問題が解けない構造的な例**。 ## 帰属手法との関係 クラス活性化マッピング（CAM）や帰属手法（attribution methods）は「どの次元を見たか」を計算するが、高次元均一信号の場合： - すべての次元が同等に重要なため特定の「重要箇所」を示せない。 - 最大値次元を示しても負例でも同程度の確率で現れ、過信すると誤分類を招く。 - 法則が本質的に複雑であれば、人間が理解できる程度の単純な近似説明は常に誤りを含む。 → [[帰属手法]] および [[AI検証可能性]] を参照。 ## 横断的知見 - 敵対的摂動の「AI の脆弱性」から「認知格差の証拠」への再解釈は、AI の判断を人間が制御できるかという問いに直接接続する（Source: [[joisino-超人的AIと認知不能情報-2025]]）。 - AI の観測可能情報を人間と同じ範囲に制限すると AI も誤分類するという実験は、人間非可知情報の活用が AI 能力の**本質的な構成要素**であることを示す（Source: [[joisino-超人的AIと認知不能情報-2025]]）。 - **セキュリティ工学の実務的観点(Security Engineering 3e 第25章)は、Ilyas+ 2019 の「敵対的摂動は特徴であってバグではない」という再解釈以前の、しかし整合する形の説明を独立に与える**: Anderson は2013年のSzegedy+の発見(高精度な深層ニューラルネットワークが微小な摂動で誤分類される)を紹介したうえで、この盲点を「決定空間が高次元であるために数学的に不可避であり、ニューラルネットワークは決定境界が入り組んでいるためこの盲点が非自明な形で現れる」と説明する。これはIlyas+やTsipras+が高次元空間における微弱信号の集積として形式化した知見と同じ方向を向いているが、ch.25はこれを「AI が学習した正当な特徴」としてではなく一貫して**攻撃者が悪用しうるセキュリティ上の脆弱性**として扱う——小さなステッカーで制限速度標識を誤読させる、色付き眼鏡で人物を誤認識させるといった実例は、防御(検知・鈍化・状況認識)の対象として提示される。同じ現象を「AI の能力の構成要素」(joisino 2025 の再解釈)と見るか「攻撃対象となる脆弱性」(Security Engineering 2020)と見るかは、視点の違い(認知科学的再解釈 対 実務的セキュリティ)であって事実の矛盾ではない。両者は「敵対的摂動が単なるノイズではなく高次元空間の構造に由来する」という点では一致しており、対比としてのみ挙げるにとどめる。(Source: [[@2020__Wiley__Security Engineering 3e - Chapter 25 New Directions?]] ch.25 §25.3.2) - Security Engineering 3e 第25章は、敵対的攻撃が「転移可能(transferable)」であり、攻撃者はモデルへの完全なアクセス(ホワイトボックス)を必ずしも必要とせず、同種または類似データで訓練された別モデル(ブラックボックス)への攻撃を同じ摂動で成功させられると報告する。これは Ilyas+ 2019 が示した「摂動がクラス固有の特徴パターンを含む」という説明と整合する——特徴が訓練データ由来であれば、類似の訓練データで学習した別モデルも同じ特徴に反応するはずだからである。(Source: 同上 ch.25 §25.3.2) - **AI障害注入サーベイの実務的な攻撃タクソノミー(白箱/黒箱/灰色箱)は、Security Engineering 3eが報告する「転移可能性」を、防御側が模擬すべき障害注入(FI)手法の分類軸として具体化する**: [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]] §4.2はAIサービス層のFI手法として、白箱攻撃(モデル構造・パラメタを利用するFGSM・PGD・DI-AA)、黒箱攻撃(入力・出力ラベル/確信度のみを観測するHopSkipJump・PopSkipJump・GeoDA)、灰色箱攻撃(部分的情報を利用するLapid and Sipperの画像-テキストモデル攻撃)を区別する。この3分類は、Security Engineering 3eが報告する「攻撃者はホワイトボックスアクセスを必ずしも必要としない」という転移可能性の主張(本concept既出)を、FI研究における具体的なツール分類として裏付ける——黒箱手法が独立した攻撃カテゴリとして体系化されていること自体が、転移可能性ゆえに黒箱攻撃が実務上成立するという経験則の傍証になる。(Source: [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]] §4.2, [[@2020__Wiley__Security Engineering 3e - Chapter 25 New Directions?]] ch.25 §25.3.2) ## 未解決の問い - 画像以外のモダリティ（テキスト・音声・センサーデータ）で同様の「人間非可知の分類手がかり」は存在するか？ - 敵対的ロバスト性訓練は、人間非可知の正当な手がかりを意図せず削除していないか？ - 個々の微弱信号は本当にクラス固有の特徴か、それとも訓練分布のアーティファクトか？ - Security Engineering 3e 第25章が報告する「モデルに鍵(key)を挿入し盲点の位置をモデルごとに変えることで転移可能性を下げる」という対策(Shumailov, Zhao, Mullins & Anderson の実験)は、Ilyas+ 2019 の「摂動は正当な特徴」という解釈のもとでも有効な防御でありうるか。特徴自体を変えずに「どこに現れるか」だけを変える対策と、特徴そのものを扱う認知科学的な再解釈は、両立するのか矛盾するのか未検証。 - AI障害注入サーベイのプロンプト攻撃(IPI・PromptAid・HouYi等)は、本conceptが扱う画像・数値入力への敵対的摂動と異なり、離散的なテキストトークン列への摂動である。「人間には認知できないが汎化する分類手がかり」というIlyas+2019の再解釈は、連続空間の画像摂動を前提とした議論だが、離散的なプロンプト摂動(パラフレーズ・キーワード挿入)にも同様の「人間非可知だが有効な手がかり」という構造は成立するか、それとも自然言語の摂動は本質的に異なるメカニズムで機能するか。([[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]] §4.2) ## 関連ページ - [[帰属手法]] — AI 判断の解釈手法。高次元均一信号での限界と接続。 - [[AI検証可能性]] — 解釈の代替として「検証」を据える戦略。 - [[機構的解釈性]] — AI 内部構造の解読アプローチ。 - [[障害注入]] — 敵対的攻撃・プロンプト攻撃を含む障害注入(FI)一般の集約concept。 - [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]] — 白箱/黒箱/灰色箱の攻撃タクソノミーとFIツール一覧。 ## 出典 - Ilyas, A. et al. (NeurIPS 2019). *Adversarial Examples Are Not Bugs, They Are Features*. arXiv:1905.02175 - Tsipras, D. et al. (ICLR 2019). *Robustness May Be at Odds with Accuracy*. arXiv:1805.12152 - [[joisino-超人的AIと認知不能情報-2025]] - [[@2025__TOSEM__A Survey on Failure Analysis and Fault Injection in AI Systems - Chapter 4 FA and FI in AI Service]](§4.2 白箱/黒箱/灰色箱の敵対的攻撃タクソノミーとプロンプト攻撃)