## 定義 分類モデルの評価指標とは、分類器が出力した予測結果と実際の正解ラベルとの一致度を数値化する指標群であり、正解率(Accuracy)・適合率(Precision)・再現率(Recall)・F値(F-measure)・ROC曲線とAUC(Area Under the Curve)を中心とする。これらはいずれも混同行列(Confusion Matrix、予測結果と実際の結果を陽性/陰性の組み合わせで真陽性(TP)・偽陽性(FP)・偽陰性(FN)・真陰性(TN)の4マスに整理した表)から計算できる。正解率は$(\mathrm{TP}+\mathrm{TN})/(\mathrm{TP}+\mathrm{FP}+\mathrm{TN}+\mathrm{FN})$で全体の正誤を1つにまとめるが、クラスに偏りがあるデータでは意味を成しにくい。適合率$\mathrm{TP}/(\mathrm{TP}+\mathrm{FP})$と再現率$\mathrm{TP}/(\mathrm{TP}+\mathrm{FN})$はトレードオフの関係にあり、F値はその調和平均として両者のバランスを1つの指標にまとめる。ROC曲線は、しきい値を動かしたときの真陽性率$\mathrm{TP}/(\mathrm{TP}+\mathrm{FN})$(縦軸)と偽陽性率$\mathrm{FP}/(\mathrm{FP}+\mathrm{TN})$(横軸)の軌跡であり、その下側面積であるAUCはしきい値によらないモデル比較指標として使われる。多クラス分類では、全クラスのTP・FPをフラットに合算するマイクロ平均と、クラスごとに指標を計算してから平均するマクロ平均の2通りの集約方法がある。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.1) ## 横断的知見 - [[交差検証]]が扱う「訓練データと検証データを繰り返し分割してモデルの汎化性能を推定する」という論点と、本ページが扱う「分割後の予測結果をどの指標で数値化するか」という論点は相補的であり(混同行列の計算は交差検証の各分割ごとに行うのが実務的な標準)、今後別ソースが加わった際に両者の関係を突き合わせる。 - 10章の[[Uplift Modeling]]は、本ページのAUC(ROC曲線下面積)の設計思想をアナロジーとして、Area Under the Uplift Curve(AUUC)という指標を定義する。AUUCはUpliftスコアの高い順に並べたときの累積コンバージョン増分(lift)曲線と、ランダム割当てを想定したベースライン直線との間の面積を正規化したものであり、AUCが「ランダムな分類器からの改善」を面積で測るのと同型の構成である。ただしAUUCが測るのは個体レベルの処置効果の順位付けの良さであり、本ページのAUCが測る通常の2値分類の予測確率の順位付けの良さとは、対象(処置効果 対 予測確率)そのものが異なる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]], [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]]) - **5章は、本ページが扱う分類評価指標(正解率・適合率・再現率・AUC ROC)を、カナリア評価指標・回帰とランキング評価指標と並ぶ3カテゴリの1つとして位置づけ直し、「下流の意思決定への影響は分かるが、モデル間の比較を難しくするような閾値のチューニングを要する」という共通の弱点を指摘する**: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]]は各指標の計算方法と個別の使い分けに焦点を当てるのに対し、[[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3は、評価指標全体をカナリア評価指標(問題の有無は分かるが良し悪しの微妙な差は測れない)・分類評価指標・回帰とランキング評価指標(閾値のチューニングは不要だがエラーの非対称なコストを見逃しうる)という3分類の中に位置づけ、AUC ROCが「分類の閾値に依存しない」という性質を持つ理由を、正解率・適合率・再現率が閾値依存であることとの対比で説明する。この上位の分類法は、本ページが個別指標として並べてきたものが、なぜそれぞれ異なる長所・短所を持つのかを説明する枠組みを追加する。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.1, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3) - **既存の未解決の問い(PR-AUCとROC-AUCの使い分け)に、5章はクラス不均衡データではPR-AUCがより有益になりうるという方向性を追加するが、定量的な閾値までは示さない**: 本ページは「PR-AUCはROC-AUCと比べてクラス不均衡データでどう使い分けるべきか」を未解決の問いとして残していたが、[[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.2は、適合率/再現率曲線下面積が理論的に根拠のある統計的意味を持たない一方で「クラスラベルの偏りが強い場合により有益な指標になるケースがある」と述べ(Tran-The, "Precision-Recall Curve Is More Informative Than ROC in Imbalanced Data"を引用)、使い分けの方向性(不均衡が強いほどPR-AUCが相対的に有用)を示す。ただしどの程度の不均衡から切り替えるべきかという定量的な基準は示されておらず、問いは部分的な解決にとどまる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.1, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.2) - **『機械学習システムデザイン』4章は、既存の未解決の問い(PR-AUC対ROC-AUC)を直接埋めないものの、「全体の正解率がクラス不均衡データでモデルの実力差を隠す」ことを裏付ける具体的な数値例と、F値・ROC曲線が正のクラスにのみフォーカスすることへの明示的な理由づけを追加する**: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.3.2.1は、正のクラス(CANCER)が全体の10%というデータで、モデルA(CANCER 100件中10件検出)とモデルB(同90件検出)がともに正解率0.9で並ぶが、CANCERクラスに限った正解率はモデルA 10%・モデルB 90%、F値はモデルA 0.17・モデルB 0.64と大きく異なる例を示す。さらに、F値・再現率・ROC曲線はいずれも真陽性(正のクラスを正しく予測できた結果)に依存するため負のクラスでの性能を反映しないと明示し、DavisとGoadrichによるPR曲線の提案理由を補強する。5章の「不均衡が強いほどPR-AUCが有益」という方向性に対し、4章は「なぜROC系・F値系の指標が不十分になりうるか」という具体的な失敗の仕組みを与えるが、どの程度の不均衡から切り替えるべきかという定量的な閾値は依然としてどちらのソースにもない。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.3.2.1, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.2) - クラス不均衡下での評価指標の詳細な対処法(適切な指標選択に加えたデータレベル・アルゴリズムレベルの手法)は[[クラス不均衡]]に集約したので、そちらも参照する。 ## 未解決の問い - Precision-Recall曲線を元にしたAUC(PR-AUC)は、ROC-AUCと比べてクラス不均衡なデータではどのように使い分けるべきか。5章はクラス不均衡が強いほどPR-AUCが有益になりうるという方向性を、4章は全体の正解率が不均衡データでモデルの実力差を隠す具体的な数値例を示したが、定量的な切り替え基準はどのソースにもない(横断的知見を参照)。 - マイクロ平均とマクロ平均の使い分けの目安(「クラスごとにデータ数の偏りがある場合はマクロ平均」)は、偏りがどの程度から実務的に問題になるかという定量的な基準を伴っていない。 - F値は適合率・再現率を等しい重みで扱う調和平均だが、どちらかを重視したい場合の重み付き調和平均($F_\beta$)との使い分けは本ソースでは扱われていない。 - AUUCとAUCの間に、単なるアナロジー以上の数理的な対応関係(同じ確率解釈が成り立つか等)はあるか。10章はアナロジーとしての紹介にとどまり、両者を数理的に接続する記述はない。 - 5章のカナリア評価指標・分類評価指標・回帰とランキング評価指標という3分類は、多クラス分類のマイクロ平均・マクロ平均という本ページ既存の集約軸とどう交差するか。5章はこの3分類を2値分類的な文脈で提示するのみで、多クラスへの拡張は扱っていない。 ## 関連 - source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] / [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]](AUCの設計思想をアナロジーとするAUUC) / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]](評価指標の3分類、PR-AUCの使い分けの方向性) / [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]](不均衡データでの全体正解率の失敗事例) - concept: [[交差検証]](分割ごとの混同行列を交差検証で自動集計する運用) / [[回帰の評価指標]](評価指標という同じ主題の回帰版) / [[Uplift Modeling]](AUCをアナロジーとするAUUCという評価指標を持つ) / [[評価データ分布の設計]](指標と対になるデータ分布の設計) / [[モデルの確実性検証]](品質評価の前段にあたる確実性チェック) / [[クラス不均衡]](不均衡データへの評価指標選択以外の対処: リサンプリング・損失関数調整) - entity: [[scikit-learn]](`confusion_matrix`・`roc_curve`・`auc`・`roc_auc_score`等の実装) ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第3章, §3.1, 第10章, §10.5. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 5章, §5.2.3, §5.2.3.2. - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 4 章, §4.3.2.1.