経験リスク最小化 - yuuk1's Digital Garden

# 経験リスク最小化 Navigation: [[index]] | [[_index|concepts]] ## 定義経験リスク最小化(empirical risk minimization, ERM)とは、予測器 $f$ を仮説クラス(hypothesis class)から選ぶ際に、訓練データ $\{(x_n,y_n)\}_{n=1}^N$ 上の平均損失である経験リスク $R_{emp}(f,X,y)=\frac1N\sum_{n=1}^N\ell(y_n,\hat y_n)$ を最小化することでパラメータを決める学習原理である。これは、無限のデータがあれば得られる期待リスク(expected risk)/真のリスク(true risk) $R_{true}(f)=\mathbb E_{x,y}[\ell(y,f(x))]$ の有限標本近似であり、学習の真の目標は経験リスクではなく期待リスクの最小化にある。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.2) ## ERMを構成する設計判断 ERMは単一の手法ではなく、以下の設計判断の組み合わせからなる枠組みである。 - **仮説クラス(hypothesis class)**: 予測器を選ぶ範囲となる関数族(例: アフィン関数 $f(x,\theta)=\theta^\top x$)。 - **損失関数(loss function)**: ラベルと予測のずれを測る非負関数 $\ell(y,\hat y)$(例: 二乗損失)。 - **正則化(regularization)**: 罰則項 $\lambda\|\theta\|^2$ を経験リスクに加え、複雑すぎる解を避けさせる(Tikhonov正則化)。 - **探索手続き**: 正則化パラメータなどのハイパーパラメータを選ぶための交差検証。 (Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.1-§8.2.4) ## 「確率とは無関係」ではない ERMは確率分布を明示的にモデル化しない点で標準的な統計的推定と対照的だが、これを「確率と無関係」と捉えるのは誤りである。データを生成する未知の分布 $p(x,y)$ の存在は暗黙に仮定されており、ERMはその分布の選択に関して不可知論的(agnostic)であるにすぎない。二乗損失を選ぶと、ガウス尤度を仮定した最尤推定と同一の最適化問題に帰着する。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.5, §8.3.1) ## 正則化と事前分布の対応正則化の罰則項 $\lambda\|\theta\|^2$ と、MAP推定でのゼロ平均ガウス事前分布 $p(\theta)=\mathcal N(0,\Sigma)$ は同じ数学的役割(パラメータを単純な値に近づけるバイアス)を果たす。この対応は、ERM(関数としてのモデル観)と確率的モデリング(確率分布としてのモデル観)という2つの学習原理が独立でないことを示す最も具体的な橋である。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.3, §8.3.2) ## 横断的知見 - **サポートベクターマシン(第12章)は、ERMの抽象的な枠組み(仮説クラス・損失関数・正則化)を具体的な凸最適化問題として完全に実装した実例である**: 第8章はERMを「仮説クラス+損失関数+正則化」という一般形で提示するにとどまるが、[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]] §12.2.5は、ヒンジ損失 $\ell(t)=\max\{0,1-t\}$ とL2正則化 $\frac12\|w\|^2$ を選んだ不制約最適化 $\frac12\|w\|^2+C\sum_n\max\{0,1-y_nf(x_n)\}$ が、幾何的マージン最大化(スラック変数付き)の主問題と厳密に等価であることを式12.32-12.33で示す。これは「ERMの損失関数の選択が、幾何的に動機づけられた別の定式化と数学的に一致しうる」ことを示す本書内で最も具体的な実例であり、第8章が抽象的に述べる「損失関数の選択が学習原理を決める」という主張に、ヒンジ損失という特定の選択がマージン最大化という幾何的直観と一致するという肉付けを与える。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.2-§8.2.3, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]] §12.2.5) - **経験リスクが個例の損失の和/平均という形を持つこと自体が、第7章の確率的勾配降下法(SGD)の理論的正当化の前提条件になっている**: 第8章の経験リスク $R_{emp}(f,X,y)=\frac1N\sum_n\ell(y_n,\hat y_n)$ は各データ点の損失の平均という形を持つが、この形は偶然ではない。[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 7 Continuous Optimization]] §7.1.3は、目的関数が $L(\theta)=\sum_{n=1}^N L_n(\theta)$(データ点ごとの損失の和)という構造を持つことを前提としてSGDを導入し、SGDが収束するために必要なのは真の勾配の不偏推定量であることのみだと述べる。ERMの経験リスクが「個例損失の平均」という形を持つことは、ミニバッチやシングルサンプルによる勾配近似が不偏推定量になることを保証する構造的な条件であり、ERMという学習原理の関数形自体が、それを解く数値最適化アルゴリズム(SGD)を可能にしているという依存関係がある。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 7 Continuous Optimization]] §7.1.3) - **入門書(ch.2)は、MML第8章が抽象的に列挙する「仮説クラス+損失関数+正則化+探索手続き」というERMの4要素を、犬猫画像分類という具体的なタスクを通じた6ステップの手続き(❶訓練データを用意する→❷モデルを用意する→❸損失関数を設計する→❹目的関数(訓練誤差+正則化)を導出する→❺最適化問題を解く→❻評価する)として順序立てて再構成する**: MML第8章はERMの4要素を並列的な設計判断として提示するが、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6はこれを時系列の手順(図2.13)として再構成し、目的関数を明示的に「訓練誤差+正則化」という和の形($L(D,\theta)+CR(\theta)$)で書き下す。これはMML第8章の抽象的な経験リスク$R_{emp}(f,X,y)=\frac1N\sum_n\ell(y_n,\hat y_n)$に正則化項を明示的に加算した具体形であり、「探索手続き(ハイパーパラメータ選択)」の位置づけが評価ステップ(❻、開発データによる調整)として手続き内に明示的に組み込まれる点で、MML第8章の並列的な4要素分解より、実装の手順としての解像度が高い。またch.2は目的関数の最適化対象変数が訓練事例の入出力$(x,y)$ではなくパラメータ$\theta$であることを明示的に注意しており、これはMML第8章の経験リスクの式が暗黙に前提とする区別を、初学者向けに顕在化させたものといえる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.1-§8.2.4, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6) ## 未解決の問い - 第8章はERMを「仮説クラス+損失関数+正則化+探索手続き」の4要素で説明するが、この4要素の分解は他の学習原理(例えば強化学習の方策最適化)にどこまで一般化できるか。 - ヒンジ損失(第12章)以外の凸損失(ロジスティック損失・指数損失など)についても、幾何的な動機づけとERMとしての定式化が一致する具体例は本書の範囲では示されていない。ブースティング(指数損失)などとの対応関係は未確認。 - SGDの不偏推定量という条件(第7章)は、正則化項 $\lambda\|\theta\|^2$ を含む経験リスク全体にも同様に成り立つはずだが、正則化項の勾配とデータ項の勾配を別々にサンプリングする実務上の手法(例えば正則化項を全データで厳密に計算する場合)との整合性は本書では扱われていない。 ## 関連 - source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]](ヒンジ損失+L2正則化としての具体化) / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 7 Continuous Optimization]](SGDによる求解) / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]](6ステップの手続きとしてのERM) - concept: [[統計的機械学習]] / [[汎化誤差バウンド]] / [[バイアス-バリアンストレードオフ]] / [[サポートベクターマシン]] / [[凸最適化]] / [[損失関数]] / [[勾配降下法]] ## 出典 - Deisenroth, M. P., Faisal, A. A., Ong, C. S., *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 8, §8.2; Chapter 12, §12.2.5; Chapter 7, §7.1.3. - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.6.