## 定義 予測モデルの解釈手法とは、機械学習モデルが特定の予測を出力した際に、どの特徴量がどの程度・どの方向に寄与したかを人間が理解できる形で示す手法群である。古典的な回帰・決定木・アンサンブルツリーモデルを対象とする場合、線形回帰/ロジスティック回帰の係数、係数のp値、決定木の可視化、アンサンブルツリーのFeature Importance、SHAP(SHapley Additive exPlanations)という手法が、答えられる情報量の少ない順から多い順へと積み上がる。それぞれの手法は「何を答えられ、何を答えられないか」が異なり、単一の手法だけでは予測モデルの解釈として不十分である(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.3-8.9)。 ## 手法のはしご: 何を答え、何を答えられないか | 手法 | 答えられること | 答えられないこと・弱点 | |---|---|---| | 線形回帰/ロジスティック回帰の係数 | 各特徴量が目的変数に与える方向(正/負)と相対的な大きさ | 特徴量のスケールに支配される(正規化必須)。カテゴリ変数のOne-Hot Encodingが[[多重共線性]]を生むと係数が発散する | | 回帰係数のp値(OLS等) | その係数が外れ値に引きずられて出ただけの疑わしい値かどうか | 多重共線性の影響そのものは除去しない。有意性の判定であり寄与の大きさの順位ではない | | 決定木の可視化(plot_tree・dtreeviz) | 特定の特徴量の組み合わせ条件(交互作用)を具体的な分岐として発見できる | 一度に見渡せる変数は木の各経路に登場するごく少数に限られる。木を深くしすぎると人間が読めなくなる | | Feature Importance(ランダムフォレスト・GBDT) | 全変数を一度に一望し、分類・回帰への寄与の大きさを比較できる | 寄与の方向(特徴量が大きいと予測がどちらに動くか)は示さない。多重共線性のある特徴量群では値が分散し過小評価される | | SHAP(TreeExplainerのsummary_plot) | 全変数を一望しつつ、各変数の寄与の方向・大きさ・その特徴量自体の値を1枚の図に統合する | 計算コストが高い。局所(個別インスタンス)の説明に強い一方、モデル全体の法則性を示す大域説明としては別の指標(PFI・PDP等)と役割が異なる | 決定木の可視化とFeature Importanceは互いに相補的な弱点を持つ(前者は少数変数の組み合わせに強く全体像が見えない、後者は全体像は見えるが方向がわからない)。SHAPはこの2つの弱点を同時に埋める手法として章内で位置づけられる(Source: 同上 §8.8)。 ## グローバルな説明とローカルな説明(聴衆・目的による使い分け) 『信頼性の高い機械学習』6章は、解釈手法の技術的な仕組みではなく、説明の受け手(聴衆)と目的に応じて「正しい説明」が変わるという観点から説明性(explainability)を論じる。モデルの説明とは、医師が専門知識の異なる患者に応じて同じ治療リスクを違う言葉で伝えるのと同様に、聴衆によって内容が変わるべきものである。 - **グローバルな説明**: モデルが一般的にどのように機能し、なぜ特定の決定ルールに従うのかを示す説明。モデルが正しい理由で正しい決定をしているかを検査する目的(モデル品質の検査)に適する。 - **ローカルな説明**: 特定の個人が受けた決定(例: 融資拒否)について、その理由と今後実行可能な対策を説明するもの。不利益を受けた個人が将来その可能性を高める目的に適する。 6章は、最低限やるべきこととして (1) エンドユーザーにアルゴリズムの入力を知らせる(可能であれば相対的な特徴量重要度も)こと、(2) テスト入力や反実仮想の組み合わせに対する出力を見せること、(3) グローバル/ローカルのどちらの説明が読者やユースケースに適しているかを検討することの3点を挙げる。技術的な実装手段の一例としてIBMのAI Explainability 360 libraryが、また個人への説明を制度化する仕組みの一例としてモデルカードが言及される(いずれも本章では詳述されない)。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 6 公正さ、プライバシー、倫理的なMLシステム]] §6.3.1) ## 特徴重要度の測定手段とその集中傾向(『機械学習システムデザイン』5章) [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 5 特徴エンジニアリング]] §5.4.1は、優れた特徴を設計する2つの評価軸(特徴重要度・特徴の汎化)のうち特徴重要度について、次の測定手段を挙げる。 - **勾配ブースト木**: XGBoostに組み込まれた特徴重要度関数(`get_score`)が最も手軽な測定手段。 - **モデル非依存の手段**: SHAP(SHapley Additive exPlanations)。モデル全体の特徴重要度だけでなく、モデルの特定の予測に対する特徴ごとの貢献度も測定できる。特徴重要度を活用したオープンソースパッケージとしてInterpretMLも言及される。 - 特徴重要度を測定するアルゴリズムの直感は、特徴やその特徴を含む特徴セットをモデルから取り除いた場合にパフォーマンスがどの程度低下するかを見ることにある(取り除いて測る、という点でアブレーションスタディと同じ発想である)。 **重要度の集中傾向**: Facebookの広告チームがクリック率予測モデルの特徴重要度を測定したところ、上位10特徴がモデル全体の特徴重要度の約半分を占め、下位300特徴の寄与は1%未満にとどまった。ごく少数の特徴が特徴重要度を大きく左右するという傾向は、特徴重要度の技術が正しい特徴の選択だけでなく解釈可能性の面でも有用であることを裏付ける。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 5 特徴エンジニアリング]] §5.4.1) ## 横断的知見 - **『機械学習システムデザイン』5章のSHAPは「特徴選択の判断材料」として、『仕事ではじめる機械学習』8章のSHAPは「解釈手法のはしごの頂点」として、異なる目的で同じ手法を参照する**: 5章§5.4.1は、SHAPを特徴重要度の測定手段の1つとして簡潔に紹介し、その主眼は「不要な特徴を削除し優れた特徴を残す」という特徴エンジニアリング上の意思決定にある。一方、本ページが8章から集約した「手法のはしご」表では、SHAPは係数・p値・決定木可視化・Feature Importanceという4手法の弱点(方向が分からない、全体像が見えない等)を同時に埋める解釈手法の到達点として位置づけられる。両者を並べると、SHAPという同一の技術が「特徴を選ぶための道具」と「モデルの予測根拠を人間に説明するための道具」という異なる目的に流用されていることが分かり、5章が挙げる「上位10特徴が重要度の半分を占める」という集中傾向は、8章の解釈の文脈でも「SHAPのsummary_plotで一望すべき変数はごく少数に絞り込める」という実務上の指針として転用できる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 5 特徴エンジニアリング]] §5.4.1, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.8) - 1ソース目のため、複数ソースの突き合わせによる横断的知見は主に今後の蓄積に委ねるが、既存の[[帰属手法]]・[[機構的解釈性]]と対象領域を対比できる観察が1点ある: 本ページが扱う古典的ML(線形回帰・決定木・アンサンブルツリー)の解釈手法は「モデルの入出力とパラメータから特徴量の寄与を読み取る」ことに終始し、モデル内部のアルゴリズム構造そのもの(LLMの注意ヘッドや回路)を解読する[[機構的解釈性]]とは対象が異なる。しかし両者はいずれも「モデルの予測根拠を人間に説明する」という同じ目的を、対象とするモデルの複雑さに応じて異なる粒度の手法(古典MLでは係数・Feature Importance・SHAP、LLMでは注意パターンの可視化・回路分析)で追求している点で構造的に類似する(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.6-8.8, [[機構的解釈性]]の「横断的知見」節)。 - [[帰属手法]]は「重要な次元・位置が少数に集中している」という暗黙の前提のもとで機能し、この前提が崩れる高次元均一信号ケースでは説明能力に上限があることが示されている(Source: [[joisino-超人的AIと認知不能情報-2025]])。本章のFeature Importance/SHAPの限界(多重共線性による寄与の分散)は、この前提とは異なる種類の失敗モードである: 重要な情報が少数に集中していないのではなく、本来1つであるべき重要な特徴量が(One-Hot Encoding等によって)人為的に複数の相関する列に分割されることで寄与が見かけ上分散する。したがって「解釈手法が寄与を過小評価する」原因は、(1)信号が本質的に高次元に分散している場合と、(2)特徴量エンジニアリングの結果として人為的に分散している場合の少なくとも2種類があり、後者は前処理(相関行列の確認、One-Hot Encodingのdrop_first、重複特徴量の統合)で緩和できる点で前者と異なる(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.7, [[joisino-超人的AIと認知不能情報-2025]])。 - **「はしご」の各段は技術的な情報量の多寡で並ぶが、『信頼性の高い機械学習』6章の視点はどの段の手法にも横串を通す形で「グローバル対ローカル」という別の軸を導入する**: 『仕事ではじめる機械学習』8章のはしご(係数→p値→決定木可視化→Feature Importance→SHAP)は「答えられる情報量」を基準に手法を並べるが、いずれの手法がグローバルな説明(モデル全体の法則性)寄りかローカルな説明(個別インスタンス)寄りかには触れない。6章の「グローバル対ローカル」という軸を重ねると、Feature Importanceは本質的にグローバルな説明(全変数を一望した大域的な寄与度)であり、SHAPのforce plot(個別インスタンスの寄与)はローカルな説明に近いことがわかる——8章自身がSHAPの summary_plot をモデル全体の一望に使う一方、ローカルな用途(個人への説明責任)には言及しないため、6章の枠組みで初めて「SHAPは技術的にはグローバル・ローカル両方に使えるが、8章が示す用法はグローバルな用途に偏っている」という観察が可能になる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.8, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 6 公正さ、プライバシー、倫理的なMLシステム]] §6.3.1) ## 未解決の問い - 決定木・Feature Importance・SHAPはいずれも古典的なツリー系モデルを対象とするが、線形モデル以外(ニューラルネットワーク等)に対して同じ「はしご」の各段はどのように対応づけられるか。 - SHAPの計算コストの高さは、実務でどの程度のデータ規模・モデル規模から問題になるか。[[帰属手法]]が扱うSHAP対LIMEの使い分け(計算コスト対理論的一貫性)と本ページのSHAP適用例(ランダムフォレスト、n=1470)はどう接続するか。 - p値によるフィルタリング(§8.5)は多重共線性の影響を除去しないと本章は述べるが、多重共線性の影響を受けにくい解釈手法(正則化つき回帰の係数など)との定量的な比較は本ソースでは扱われていない。 - モデルカード(6章footnote27で「これを達成する1システム」とだけ言及される)は、本ページのSHAP/Feature Importanceのような具体的な解釈手法とどう連携するのか。6章は詳述せず、モデルカード自体を扱う一次資料は本wikiにまだない。 ## 未解決の問い(5章追加分) - 5章は特徴重要度の「集中傾向」(上位10特徴で約半分)をFacebookの広告クリック率予測という単一事例で示すが、この傾向がどのタスク・データ規模で一般的に成り立つかは示されていない。8章のSHAP事例(n=1470)と定量的に比較できるか。 - 5章のXGBoost組み込み関数・SHAP・InterpretMLという3つの測定手段は、本ページの「はしご」(係数→p値→決定木可視化→Feature Importance→SHAP)のどこに対応づけられるか。XGBoostの`get_score`はFeature Importanceの段に相当すると考えられるが、5章では詳細に踏み込んでいない。 ## 関連 - source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 6 公正さ、プライバシー、倫理的なMLシステム]](§6.3.1) / [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 5 特徴エンジニアリング]](§5.4.1) - concept: [[多重共線性]](解釈を歪める主要因) / [[決定木]](可視化の対象) / [[アンサンブル学習]](Feature Importanceの供給元) / [[帰属手法]](LLM/深層学習領域での対応する手法群) / [[機構的解釈性]](モデル内部構造を対象とする対比先) / [[分類モデルの評価指標]] / [[責任あるAI]](説明性を含む上位フレームワーク) / [[特徴の汎化]](優れた特徴を設計するもう一方の評価軸) - entity: [[SHAP]] / [[scikit-learn]] - 書籍: [[wiki/entities/機械学習システムデザイン|機械学習システムデザイン]] ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第8章. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 6章§6.3.1(グローバル対ローカルな説明、聴衆・目的に応じた使い分け)。 - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 5章, §5.4.1.