## 定義 機械学習モデルが特定の予測を出力した際に、入力の各次元・各位置がその予測にどれだけ「貢献」したかを数値化する手法群。可視化による説明可能 AI（Explainable AI）の主要アプローチ。代表例： - **クラス活性化マッピング（class activation mapping; CAM）**（Zhou+ CVPR 2016）：最終畳み込み層の出力を重み付き平均し、どの空間領域を見て予測したかをヒートマップで示す。 - **帰属スコア（attribution score）**：入出力ヤコビアン・Integrated Gradients・SHAP・LIME など、各入力次元の勾配や摂動に基づく重要度計算。 ## 目的と前提 「AI がなぜその判断をしたか」を人間が理解可能な形で説明することを目的とする。前提として「重要な次元・位置が少数に集中している」という暗黙の仮定がある。 ## 本質的な限界（高次元均一信号ケース） [[敵対的摂動]] の文脈で明らかになった構造的な限界： - 分類根拠が 100 万次元に**均等に分散**している場合、すべての次元が同程度に重要となり「どこを見たか」が特定できない。 - 全次元が同等に重要なため、可視化すると「すべてが真っ赤」になり情報を提供しない。 - 正例で最大値を示す次元を「重要な根拠」として示しても、その値は負例でもほぼ同確率で出現するため誤誘導になりうる。 - 法則そのものが本質的に複雑であれば、人間が理解できるほど単純な説明への近似は**近似であって真実ではない**（誤りを含む）。 （Source: [[joisino-超人的AIと認知不能情報-2025]]） ## 要素還元主義との接続 科学では複雑な対象を単純な要素に分解して分析する（例：たばこ ← → 肺がんリスク）。しかし： - 個別要素の効果量が統計的有意水準を下回る場合でも、全体として問題が解ける構造がありうる。 - 各要素を一つずつ調べる手法では、このような問題は**原理的に解けない**。 これは帰属手法が本質的に「要素還元主義的な説明」を提供しようとする点と同じ構造上の限界を持つことを意味する。 ## 横断的知見 - 機構的解釈性（[[機構的解釈性]]）は注意ヘッドや回路の役割を同定することで帰属手法とは異なるアプローチを取るが、どちらも「法則が複雑な場合」には説明能力に上限がある。 - 帰属手法の限界は「解釈ではなく検証」に軸足を移す[[AI検証可能性]]の動機になっている（Source: [[joisino-超人的AIと認知不能情報-2025]]）。 - ソフトウェア工学(SE)領域における帰属手法の実務利用は、局所説明(instance-level attribution)に極端に偏っている。29件のSE一次研究のうち86.20%が局所説明のみを用い、大域説明(global explanation; PFI・PDP等)のみに依拠した研究は皆無だった。これはLIME・SHAPが「モデル全体の法則」ではなく「個別インスタンスの判断根拠」を示すツールとして選好されていることを示し、帰属手法が本質的に持つ「局所近似」という性質(本ページ「本質的な限界」節参照)と実務での使われ方が整合している(Source: [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]])。 - 領域によって帰属手法内の選好が異なる。SEではLIME(65.5%)がSHAP(44.3%)より使用率が高いのに対し、金融(SHAP 93.3%)・ヘルスケア(SHAP 73.3%)ではSHAPが圧倒的に優勢となり、逆転している。SHAPはSHapley値に基づく理論的一貫性を持つ反面、計算コストが高いというトレードオフがあり、SEでは計算コストの低いLIMEが好まれる一方、規制上の説明責任(accountability)が重視される金融・ヘルスケアでは理論的保証を持つSHAPが選好される、という領域ごとの帰属手法選択の力学が観察できる(Source: [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]])。 - 帰属手法の実務適用では、根拠となるMLライブラリの報告が不十分であることが多い。SE研究の58.6%がライブラリを明記せず、金融・ヘルスケアでも同様の傾向が見られる。これは帰属手法そのものの理論的限界(本質的な限界節)とは別に、**再現性という実務上の限界**が並存していることを示す(Source: [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]])。 - **SEでの「局所説明への極端な偏り」という観察に対し、古典的な表形式データでのSHAP適用例(ch.8)は、局所値を集計して大域的な読み取りに使う中間的な使い方を示す**: 本ページはSEにおける帰属手法の実務利用が局所説明(instance-level attribution)に86.20%偏り、大域説明(PFI・PDP等)のみに依拠した研究が皆無だったと報告してきた。[[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.8のSHAP適用は、`TreeExplainer`が個々のサンプルごとに計算するSHAP値(本質的に局所的な量)を`summary_plot`で全サンプル分重ね描きし、「その特徴量が全体としてどちらの方向に効くか」という大域的な傾向を1枚の図から読み取る使い方を示す。これはSHAPが理論的には局所説明のツールでありながら、集計によって疑似的な大域説明として運用できることを示す具体例であり、SE研究がPFI・PDPのような専用の大域説明手法を使わない理由の一端(SHAPの集計だけで大域的な傾向がある程度読み取れてしまうため、専用の大域説明手法への需要が薄い可能性)を示唆する(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.8, [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]])。 - **金融・ヘルスケアでSHAPが優勢という観察に対し、ch.8はSHAPが計算コストに見合う説明力(決定木可視化とFeature Importance双方の弱点の解消)を持つ理由を具体的に示す**: 本ページはSHAP(93.3%)がLIME(65.5%)より金融・ヘルスケアで選好される理由を「規制上の説明責任(accountability)」という制度的要因に帰していたが、ch.8 §8.6-8.8は技術的な理由も併せて示す: 決定木の可視化は少数変数の組み合わせ条件しか見えず、Feature Importanceは寄与の方向がわからないという、それぞれ別の情報の欠落を持つ。SHAPはこの2つの欠落を同時に埋めるため、単に「理論的一貫性がある」だけでなく「他の手法にはない情報(方向づき・全体を一望できる寄与)を提供する」という積極的な技術的動機がSHAP選好の背後にありうる。この技術的動機は本ページのSE/金融/ヘルスケアの採用率データだけからは読み取れなかった論点である(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.6-8.8)。 ## 未解決の問い - 高次元均一信号に対して有効な帰属手法は存在するか？存在しないとすれば情報論的な意味での証明は可能か？ - 帰属手法の「近似的説明」が実用上安全な範囲と危険な範囲はどこで分かれるか？ - 機構的解釈性の手法（回路の同定）は帰属手法の限界を補完できるか？ - SEにおける大域説明(PFI・PDP等)の不在は、SEタスクの性質(インスタンスレベルの意思決定が支配的)によるものか、それとも単に研究者のツール選好・慣性によるものか。両者を切り分ける実証研究は存在するか(Source: [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]])。 - LIME vs SHAPの領域間選好の違い(SE=LIME優勢、金融・ヘルスケア=SHAP優勢)は、計算コストの制約と規制上の説明責任要求のどちらがより支配的な要因か。 ## 関連ページ - [[敵対的摂動]] — 帰属手法の限界が明確に現れる文脈 - [[機構的解釈性]] — 補完的な内部構造解析アプローチ - [[AI検証可能性]] — 解釈の代替としての検証戦略 - [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]] — SE・金融・ヘルスケア横断でのLIME/SHAP採用実態のSLR - [[予測モデルの解釈手法]] — 古典的ML(表形式データ)を対象とするSHAP適用の技術的背景。[[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] ## 出典 - Zhou, B. et al. (CVPR 2016). *Learning Deep Features for Discriminative Localization*. - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第8章, §8.6-8.8. - [[joisino-超人的AIと認知不能情報-2025]] - [[@2026__ACCESS__Explainable Artificial Intelligence in Software Engineering Current Trends, Gaps, and Future Directions]]