# モデル評価のベースライン ## 定義 モデル評価のベースラインとは、評価指標の値そのものを解釈可能にするために比較対象として置く参照点であり、著者は「評価指標は単体ではほぼ意味がない」と述べる。90%の確率で正のクラスが現れるタスクで機械学習エンジニアがF値0.90を達成したと喜んだ事例が示すように、正のクラスの出現確率でランダムに予測してもF値は約0.90になり、モデルがランダム予測と大差ない可能性がある。ユースケースを問わず役立つベースラインとして、(1) ランダムベースライン(一様分布またはタスクのラベル分布に従ってランダムに予測した場合の性能)、(2) 単純なヒューリスティック(機械学習を使わない素朴な規則、例えばフィード項目を日時の新しい順に並べる)、(3) ゼロルールのベースライン(単純なヒューリスティックの特殊ケースで、モデルが常に最も一般的なクラスを予測する)、(4) 人間のベースライン(人間の専門家と比較した性能)、(5) 現行のソリューション(if-elseによるビジネスロジックやサードパーティー製品など、置き換えようとしている既存の解)の5つを挙げる。厳密にどのベースラインが適切かはユースケースによって異なる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.2.1) ### 「優れたシステム」と「役に立つシステム」の区別 モデルを評価する際には「優れたシステム(good system)」と「役に立つシステム(useful system)」を区別することが重要である。優れたシステムが必ずしも役に立つとは限らず、劣ったシステムが絶対に役に立たないわけでもない。現行の自動運転システムより大幅に改良された自動運転車は優秀だと言えるが、少なくとも人間のドライバーと同等の性能を出せるようにならない限りあまり役に立たず、たとえ平均的な人間より運転がうまくても人々が信用しなければ使い物にならない。逆に、スマートフォンの入力予測のように人間のネイティブスピーカーよりはるかに性能が低いシステムでも、タイピングを速くできるなら役に立つ。この非対称性は、ベースラインとの比較が単に数値の優劣を測る作業ではなく、そのタスクにおいて「どの程度の性能があれば実際に使われるか」という利用可能性の閾値を見極める作業であることを示す。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.2.1) ## 横断的知見 本 concept は現時点で単一ソース([[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]])のみに基づく。[[分類モデルの評価指標]]・[[回帰の評価指標]]はそれぞれ正解率・RMSE等の個別指標の計算方法を扱うが、いずれも「その指標の値をどう解釈すべきか」というベースラインとの比較の視点までは踏み込んでいない。複数ソースを突き合わせた横断的知見は、他のベースライン・評価設計関連ソースが wiki 化された際に蓄積する。 ## 未解決の問い - ランダムベースラインの分布(一様分布かタスクのラベル分布か)の選び方は、評価指標(F値・正解率)ごとにどちらがより保守的な基準になるか、本ソースの表6-2の数値例(F値0.167 対 0.1、正解率0.5 対 0.82)だけからは一般化しにくい。 - ゼロルールのベースラインと単純なヒューリスティックの境界(前者は後者の特殊ケースとされる)は、実務でどのタスクにどちらを適用すべきかの判断基準が明示されていない。 - 「優れたシステム」対「役に立つシステム」の区別は自動運転・入力予測という例で直感的に示されるが、この非対称性(信頼閾値の存在有無)がどのタスク特性(安全性が絡むか、失敗コストが非対称か)から生じるかは本ソースでは体系化されていない。 - [[評価データ分布の設計]]が扱うゴールデンセット・ストレステスト分布のような評価データ設計と、本ページのベースライン選択は独立に扱われているが、両者を組み合わせた評価設計(例: ストレステスト分布上でのベースライン比較)は本ソースでは扱われていない。 ## 関連 - source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] - concept: [[分類モデルの評価指標]](ベースラインと組み合わせて解釈する個別指標) / [[回帰の評価指標]](同左) / [[評価データ分布の設計]](評価に使うデータ分布の設計という隣接論点) / [[摂動テストと不変性テスト]] / [[モデルのキャリブレーションと信頼度測定]] ## 出典 - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 6章, §6.2.1.