# MLモデルの脆弱性の所在 ## 定義 MLモデルの脆弱性の所在とは、MLに依存するシステムにおいて物事がうまくいかなくなる可能性のある構造的・システム的な弱点(セキュリティ上の脆弱性ではない)を、訓練データ・ラベル・訓練方法の3領域に分けて体系立てる枠組みである。この枠組みの実務上の要点は、多くの脆弱性がホールドアウト検証データでは検出できないということにある――検証データ自体が訓練データと同じ偏りや同じ特徴量計算バグを共有しているため、総合的な性能指標だけを見張っていても失敗を捉えられない。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 3 MLモデルの基礎]] §3.4) ### 訓練データの脆弱性 - **不完全な適用範囲**: データが特定の条件(例: 気温が氷点下になると動作停止する気圧センサー)で系統的に欠落し、モデルの盲点になる。ホールドアウト検証データでは検出できず、検証時の意図的な欠陥の洗い出しや訓練時の追加データ収集が必要になる。 - **偽相関**: データ内の相関が現実世界では必ずしも成り立たない(「美的」画像に共通する白い壁を検出する例)。保持された検証データでは高精度でも実データでは機能しない。 - **コールドスタート**: 導入直後で初期データがほとんど、あるいは全くない状態。新設のセンサーネットワークや新規推薦システム、個々の新製品で起きる。 - **自己実現的予言とMLのエコーチェンバー**: モデルがフィードバックを与えられながら使用される(推薦・フィルタリング)場合、実際に表示された選択肢についてのみフィードバックが得られ、選ばれなかったデータは肯定的フィードバックを得る機会自体がない。緩和には、モデルが現在良くないと思っているデータやアクションを時折意図的に見せる探索が要る。→ [[フィードバックループ]]。 - **世界の変化**: データはある時点の歴史的スナップショットに過ぎない。COVIDロックダウンによるホテル予約モデルの極端な楽観化のように、現実世界の出来事が訓練データの前提を崩す。 ### ラベルの脆弱性 - **ラベルノイズ**: ラベル付けの体系的な誤り(水辺の画像でカエルを常にヒキガエルと誤認するラベラーなど)。ランダムノイズは時間経過で相殺されうるが、特定の部分に偏るエラーはより有害。 - **誤って付けられたラベル**: ラベルが本来の目的の代理指標として不完全な場合(「購入」ラベルへの過度な最適化が低品質商品の宣伝を学習してしまう例、クリックをニュース満足度の代理にするとフィルターバブルを生む例)。 - **不正または悪意のあるフィードバック**: ユーザー由来のラベルを悪用する攻撃(自分のアカウントに「スパムでない」とラベル付けするスパマー、自社製品を過大評価・競合を過小評価する行為者)。 ### 訓練方法の脆弱性 - **過学習**: 検証データを再利用し続けると、その検証データ自体に暗黙に過学習してしまう。定期的な検証データの更新が必要。 - **安定性の欠如**: 再訓練のたびにモデルバージョン間で予測が変動しうる(毎日異なる1%のユーザーに誤りが生じるクレジットカード不正検知の例)。全体の精度だけでなく、関連する予測の部分集合ごとの品質評価が重要。 - **深層学習固有の特徴**: ランダム性への依存(初期状態・並列計算)、訓練終了時点の判定困難性(二重降下現象で以前の停止基準が最適でない可能性)、発散のリスク(勾配爆発とNaN値)、ハイパーパラメータ(特に学習率)への敏感さ、大量の計算リソース消費、訓練データから外れた入力に対する確信度の高い誤った外挿。 ## どんなモデルにも役立つ質問集(§3.6) 上記の脆弱性の所在を運用の場で点検するための7つの診断的な問い。研究者はモデルの数学的性質に注目しがちだが、MLOpsではどこで問題が発生し、どう修正し、長期的な健全性をどう保つかに注目する。 1. 訓練データはどこから来るのか(出所・アクセス可否・悪意ある操作の可能性・プライバシーや規制上の制約)。 2. データはどこに保存され、どのように検証されるのか(保存形式・アクセスパターン・集計/サンプリングによる情報損失・削除要求への対応・サニティチェック)。 3. 特徴量とは何か、そしてどのように計算されるのか(訓練時と提供時のコードパスの一致が最重要)。 4. モデルはどのような例で悪い性能になるか(誤りの共通点・傾向を実データで人手を交えて調べる)。 5. モデルは時間の経過とともにどのように更新されるのか(更新頻度・公開前の検証チェック・性能判定の責任分担)。 6. 私たちのシステムは、より大きな環境の中でどのように適応していくのか(上流依存関係・下流消費者・フィードバックループ・周期的依存関係)。 7. 起こりうる最悪の事態とは(ガードレール・フォールバック・安全メカニズムの設計)。 (Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 3 MLモデルの基礎]] §3.4, §3.6) ## 横断的知見 - **本書の「自己実現的予言とMLのエコーチェンバー」(§3.4.1.4)は、[[フィードバックループ]]が[[@2026__OReilly__Designing Data-Intensive Applications 2E - Chapter 14 Doing the Right Thing]]から積み上げてきた「エコーチェンバー問題への技術的緩和策は示されていない」という未解決の問いに、具体的な緩和策を与える**: DDIA第14章はレコメンデーションシステムのエコーチェンバー問題を指摘するが、多様性を強制する再ランキングのような技術的対処には立ち入らず、[[フィードバックループ]]concept の未解決の問いに「本章では触れられていない」と明記されたままだった。本書§3.4.1.4は同じ現象(実際に表示された選択肢だけがフィードバックを得る)を扱いながら、「時折、モデルが現在あまり良くないと思っているデータやアクションを見せたり試したりすることを選択し、ランクの低いデータをある程度意図的に探索する」という具体的な緩和策を示す。DDIAが問題を社会的・倫理的な帰結の記述にとどめるのに対し、本書はMLOps実務者向けに探索(exploration)という具体的な技術的操作へ落とし込んでおり、両者は同一現象を異なる抽象度(倫理的診断 対 運用上の処方箋)で補完する。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 3 MLモデルの基礎]] §3.4.1.4, [[@2026__OReilly__Designing Data-Intensive Applications 2E - Chapter 14 Doing the Right Thing]] "Feedback Loops") ## 未解決の問い - 本書は探索(意図的に低ランクデータを見せる)をエコーチェンバー緩和策として挙げるが、探索によるユーザー体験の劣化(悪い推薦を意図的に見せることのコスト)と多様性確保のトレードオフをどう定量的に設計するかには立ち入らない。バンディットアルゴリズムの探索/活用トレードオフの枠組みとどこまで対応するか。 - 「不完全な適用範囲」「偽相関」はいずれもホールドアウト検証データで検出できないと本書は述べるが、検出のための具体的な手法(意図的な欠陥の洗い出し、的を絞った検証データの設計)は6章(公正さ・プライバシー・倫理的なMLシステム)や5章(モデルの確実性と品質の評価)でどこまで体系化されるか。 - ラベルノイズと誤って付けられたラベルの違い(測定エラー 対 目的との乖離)は、4章(特徴量と訓練データ)のラベリングシステムの議論とどう接続するか。 - 深層学習固有の脆弱性(二重降下・勾配爆発・ハイパーパラメータ感度)は、[[深層学習の汎化]]concept が扱う理論的な汎化メカニズムとどこまで同じ現象を指すか。本ページは運用上の症状として列挙するにとどまり、機序の理論的説明には踏み込んでいない。 ## 関連 - ソース: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 3 MLモデルの基礎]] §3.4, §3.6 - 概念: [[モデルアーキテクチャ・定義・訓練済みモデル]] / [[フィードバックループ]] / [[予測分析とアルゴリズムバイアス]] / [[MLモデル監視]] / [[深層学習の汎化]] - 書籍: [[信頼性の高い機械学習]] ## 出典 - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 3章 §3.4, §3.6.