## 定義 回帰の評価指標とは、連続値を予測する回帰モデルの予測値と実測値のずれを数値化する指標であり、平均二乗誤差(RMSE, Root Mean Squared Error)と決定係数($R^2$, Coefficient of Determination)を中心とする。RMSEは予測値と実測値の差を2乗して総和し、データ数で割った値の平方根$\sqrt{\sum_i(\text{予測値}_i-\text{実測値}_i)^2/N}$であり、全データの平均値を常に出力する予測モデルのRMSEはデータのばらつきを表す標準偏差に一致する。そのため標準偏差を最低限のベースライン(分類でいうランダム出力の予測モデルに相当)として、予測モデルのRMSEと比較することで良し悪しを検討できる。決定係数は、実測値の平均値との差の2乗和に対する予測誤差の2乗和の比を1から引いた$R^2=1-\sum_i(\text{実測値}_i-\text{予測値}_i)^2/\sum_i(\text{実測値}_i-\text{実測値の平均値})^2$であり、常に平均値を出力する予測モデルに対して相対的にどれだけ性能が良いかを表す。1に近いほど当てはまりが良く、0に近いほど良くない。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.2) ## 横断的知見 [[分類モデルの評価指標]]が扱う「常にランダム/多数派クラスを出力する予測器を最低水準のベースラインとする」という考え方と、本ページが扱う「常に平均値を出力する予測モデルの誤差を標準偏差というベースラインとみなす」という考え方は、分類と回帰それぞれで「無情報な予測器を基準点に据える」という同じ発想の対応物であり、今後別ソースが加わった際に突き合わせる。 - **既存ページがRMSE(2乗誤差の平均の平方根)を軸に定義するのに対し、5章はその平方根を取る前段階のMSE(平均2乗誤差)とMAE(平均絶対誤差)を並列に導入し、RMSEを構成する設計判断を分解して見せる**: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]]はRMSEを標準偏差との比較で位置づけるが、[[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.3は、素朴に誤差を平均すると符号が打ち消し合って0に見えてしまう問題への2つの解決策として、誤差の絶対値を取るMAEと誤差を2乗するMSEを並列に提示する。RMSEはMSEの平方根であるため、既存ページのRMSEは5章のMSEを最終ステップで平方根に変換したものに相当する。5章はさらに「MSEは小さな誤差より大きな誤差に強くペナルティを与えるため、ノイズや無視すべき外れ値が多いデータには不向き」という頑健性の観点での使い分けを追加しており、これは既存の未解決の問い(MAE等との使い分けを外れ値への頑健性で検討すべきという指摘)に方向性を与える。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.2, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.3) - **5章はlog損失を回帰とランキング評価指標のカテゴリに含めるが、これは実測値との数値的な差ではなく確率としての予測の較正度を測る指標であり、本ページのRMSE/MSE/MAEとも[[分類モデルの評価指標]]のクラスラベル指標とも異なる第3の性質を持つ**: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.3は、log損失をlogit関数から派生した指標とし、モデルの出力を実際の確率として使う場合に有用と位置づける。0.99・0.999・0.9999のような自信度の高い予測が誤っていた場合に強いペナルティを与える性質は、本ページのMSEが「大きな誤差に強くペナルティを与える」性質と類似の設計思想(誤差の大きさに応じた非線形なペナルティ)を持つが、対象が実測値との数値差ではなく確率としての正しさである点で異なる。また予測が正確に1.0や0.0でエラーになると無限大(NaN)を返すという挙動は、本ページのRMSE・MSE・MAEのいずれにも見られない、確率出力を扱う指標特有のリスクである。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] §5.2.3.3) - **決定係数R^2は、機械学習側の指標としてだけでなく、統計学の回帰分析における「総変動の配分」という導出過程を持つ**: 既存ページはR^2を実測値の平均との差の2乗和に対する予測誤差の2乗和の比として天下り的に定義するが、[[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.3は同じ量を、回帰を使わない場合の誤差二乗和(総変動SST)を、回帰で説明される変動SSRと説明されない変動SSE=SST-SSEに分解したうえでR^2=SSR/SSTと導出する。既存ページのRMSE計算に現れる「常に平均値を出力する予測モデルの誤差を標準偏差というベースラインとみなす」という発想は、この統計学側のSST(=回帰なしの誤差二乗和)と本質的に同じ量である。さらにJain(1991)はR^2がxとyの標本相関係数Rxyの2乗に一致することも示しており、これは既存2ソースのいずれにも現れない恒等式である。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] §3.2, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.3) ## 未解決の問い - RMSE以外の回帰指標のうち平均絶対パーセント誤差(MAPE)との使い分けは本ソースでは扱われていない。MAE・MSEについては5章が外れ値への頑健性という使い分けの方向性を示したが(横断的知見参照)、MAPEはいずれのソースにも登場しない。 - 決定係数は説明変数の数を増やすほど見かけ上大きくなりやすい(過学習との関係)が、自由度調整済み決定係数(adjusted $R^2$)との使い分けは本ソースでは触れられていない。 - log損失がNaNを返す(予測が正確に1.0/0.0でエラーになる)場合の実務的な回避策(クリッピング等)は、5章では触れられていない。 ## 関連 - source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 3 学習結果を評価するには]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]](MSE・MAE・log損失) / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]](決定係数R^2の統計学的な導出) - concept: [[分類モデルの評価指標]](評価指標という同じ主題の分類版) / [[評価データ分布の設計]](指標と対になるデータ分布の設計) / [[線形回帰]](R^2を導出する回帰モデルそのものの基礎) - entity: [[scikit-learn]](`mean_squared_error`・`r2_score`等の実装) ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第3章, §3.2. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 5章, §5.2.3.3. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 14, §14.3.