統計的機械学習 - yuuk1's Digital Garden

## 定義統計的機械学習（statistical machine learning）は、確率論・統計理論を基礎として入力 $x$ から出力 $y$ を予測する関数 $f$ を学習データから推定する枠組みの総体である。深層学習（ニューラルネットワーク）と対比して「古典的機械学習」とも呼ばれるが、深層学習の理解にも不可欠な概念（汎化能力・損失関数・正則化）を含む。 **基本原理**（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]、§2）: - **関数推定**: 損失関数 $L(f, D)$（例: 2乗誤差）を最小化するパラメータを求める - **汎化能力**: 期待損失（未知データへの性能）を経験損失（学習データへの性能）で近似し、両者のギャップ（汎化バイアス）を制御する - **正則化**: 損失関数に複雑さのペナルティ $\lambda R(\theta)$ を加えて過学習を抑制 ## 代表的な手法 ### 線形モデルとスパースモデリング | 手法 | 正則化項 | 特徴 | |---|---|---| | リッジ回帰 | $\lambda\|\boldsymbol{\theta}\|_2^2$ | 縮小推定、閉形式解あり | | LASSO 回帰 | $\lambda\|\boldsymbol{\theta}\|_1$ | 変数選択、スパース解 | | ロジスティック回帰 | (任意) | 2値分類、確率的出力、損失が凸 | スパースモデリングは圧縮センシング・ブラックホール高解像度撮像にも応用される（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]、§3.1）。リッジ回帰がなぜ変数選択をせず（閉形式解）、LASSOがなぜスパース解を持つか（変数選択）という機序――**制約領域の幾何**（円盤か菱形か）に基づく説明は [[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] §3.4.3 に詳しい。両者の一般化・比較・アルゴリズムの詳細は [[縮小推定]] を参照。 ### k-最近傍法（k-NN）新しい入力 $x$ に対して学習データの近い $k$ 個の $y$ を平均/多数決する。高次元では距離が集中し「最近傍」の意味が薄れる（次元の呪い）。 ### アンサンブル学習 [[アンサンブル学習]] を参照。 ## 次元の呪い（curse of dimensionality） $d$ 次元標準正規分布でランダムに生成した2点間の距離は $\sqrt{2d}$ 付近に集中する。そのため: - 高次元空間では「距離」が識別力を失う - モデルの自由度（パラメータ数）が次元とともに増大し、同じ学習データ数では汎化バイアスが増える対処法: 特徴量エンジニアリング（ドメイン知識に基づく次元削減）、正則化、モデル選択（交差検証法で期待損失を推定）。 > [!note] この節はランダム点間距離の集中という1つの角度からの簡潔な要約である。部分立方体の被覆率・境界近接性・サンプリング密度という複数の角度からの定量的な導出、およびバイアス-バリアンス分解との関係は、独立した concept ページ [[次元の呪い]]・[[バイアス-バリアンストレードオフ]]（[[@2009__Springer__The Elements of Statistical Learning - Chapter 2 Overview of Supervised Learning]] §2.5, §2.9 起点）に譲る。 ## モデル選択と交差検証未知の期待損失をデータだけから推定するには**交差検証法**（学習データと検証用データの分割を繰り返す）が基本。正則化パラメータ $\lambda$、多項式次数 $d$、k-NN の $k$ などの選択に使う。 ## ベイズモデリングとの接続ベイズ観点では損失関数の正則化項は事前分布と対応する（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]、§4.1）: - ガウス事前分布 → MAP推定 → リッジ回帰 - 両側指数分布（ラプラス分布）事前分布 → MAP推定 → LASSO 回帰ベイズ推論では点推定でなく**事後分布**が得られ、推定の信頼度を表現できる。詳細は [[ベイズ最適化]]。 ## 横断的知見 - 応用物理・材料科学では計測データが貴重・少量であることが多く、汎化能力の観点から深層学習より統計的機械学習が適している場面が多い（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]） - 特徴量エンジニアリングとアーキテクチャエンジニアリングは対比的だが相補的。深層学習でも正則化・過学習・汎化の概念は同一 - ベイズモデリングは物理シミュレーションをモデルに組み込める（台風予報円が典型例）ため、シミュレーション技術が発達した分野では特に有効 - **MAP推定という同一の数学的構造が、応用分野の異なる2つのソースで独立に「事前分布の選び方が結果を左右する」という同じ論点として現れる**: 本 concept が扱うベイズモデリング（ガウス事前分布→リッジ回帰、ラプラス事前分布→LASSO回帰）は「正則化の強さ」の選択問題として事前分布を捉える。一方 [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] は SLI の成功確率 $p$ を MAP 推定する文脈で、「以前のデータポイントのうち999個が成功、1個が失敗」という事前分布を明示的に設計し、事前分布への確信が強すぎると実際のシステムダウンを見逃すと警告する（§9.2.2.3）。どちらも「MAP推定＝尤度×事前分布の最大化」という同一の式から出発しながら、応用物理では汎化性能の調整、SRE統計では障害検知の感度という、まったく異なる実務的帰結に接続している点が対照的である。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] §9.2.2-§9.2.3) - **これまでの2ソースは「教師あり学習(supervised learning)」の枠内に暗黙に閉じていた**: 本 concept がこれまで蓄積してきた代表的手法（リッジ回帰・LASSO回帰・k-最近傍法・アンサンブル学習・交差検証法によるモデル選択）は、[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] の関数推定・損失最小化の定式化も、[[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] のMAP推定も、いずれも目的変数 $y$ の観測を前提とする点で共通するが、両ソースとも「教師あり/教師なし」という上位の分類軸そのものは明示していない。[[@2009__Springer__The Elements of Statistical Learning - Chapter 1 Introduction]] はこの分類軸を導入し、目的変数の観測がなくデータの構造だけを見出す教師なし学習(unsupervised learning)の実例としてDNA発現マイクロアレイデータのクラスタリング問題を提示する。これにより、本 concept のこれまでの記述が暗黙に教師あり学習の枠内に閉じていたことが、教師なし学習という対概念の導入によって初めて可視化される。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 1 Introduction]], [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]]) - **「なぜリッジは変数選択せず、LASSOは変数選択できるのか」という機序が、応用物理ソースでは結果の対比としてのみ提示されるのに対し、ESLは幾何学的な理由（制約領域の角の有無）まで踏み込んで説明する**: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] の表（本ページ「代表的な手法」節）はリッジ回帰を「縮小推定・閉形式解あり」、LASSOを「変数選択・スパース解」と特徴づけるが、その違いがなぜ生じるかには立ち入らない。[[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] §3.4.3 は同じ2手法を「制約領域が円盤(L2)か菱形(L1)か」という幾何で統一的に説明し、菱形の角で最小二乗誤差の等高線が接するときに一部の係数が厳密に0になることを図解する(図3.11)。同じ「リッジは変数選択せずLASSOはする」という経験則が、応用物理では結果の記述、ESLでは幾何学的機序の記述として、抽象度の異なる2層で独立に現れている。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] §3.4.3) - **「次元の呪い」を定量化する切り口が、ソースごとに異なる幾何的側面に着目している**: 本ページ「次元の呪い」節（応用物理由来）は$d$次元標準正規分布での2点間距離が$\sqrt{2d}$付近に集中するという**距離集中**の側面を要約する。一方 [[@2009__Springer__The Elements of Statistical Learning - Chapter 2 Overview of Supervised Learning]] §2.5は、(1) 体積の一定割合を捉える部分立方体の辺長が$r^{1/p}$で増大する**被覆率**の側面、(2) 単位球内の最近傍点までの距離の中央値が$p$とともに1に近づく**境界近接性**の側面、(3) サンプリング密度が$N^{1/p}$に比例して低下する**密度**の側面という3つの異なる定量化を与える。同じ「次元の呪い」という一語が指す現象は単一ではなく、距離集中・被覆率・境界近接性・密度という互いに独立に導出可能な複数の数理的側面の総称であることが、2ソースの突き合わせで明確になる。さらにESLは、この呪いが k-NN 型の局所平均化には破滅的に効く一方、線形モデルのような大域的構造を仮定する手法には($p/N$に対して線形にしか効かないため)相対的に効きにくいという非対称性を、バイアス-バリアンス分解を通じて定量的に示す点で、応用物理ソースの記述より一段深い。詳細は独立concept [[次元の呪い]] へ分割した。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 2 Overview of Supervised Learning]] §2.5) - **正則化のベイズ的解釈(MAP推定=尤度×事前分布)が、線形モデルの係数から関数空間へそのまま持ち上がる**: 本conceptが既に確立した「ガウス事前分布→MAP推定→リッジ回帰」「ラプラス事前分布→MAP推定→LASSO回帰」という対応(§4.1)は、パラメトリックな係数ベクトルに対するものだった。[[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8.1はこれを関数空間へ拡張し、RKHSでの正則化問題 $\min_f\sum_iL(y_i,f(x_i))+\lambda\|f\|_{\mathcal H_K}^2$ を「$f$ を共分散関数 $K$ を持つ平均ゼロの定常ガウス過程の実現とみなすベイズモデル」として再解釈できることを示す。カーネルの固有分解 $K(x,y)=\sum_i\gamma_i\phi_i(x)\phi_i(y)$ において固有値 $\gamma_i$ が大きい「滑らかな」固有関数ほど事前分散が大きく(罰則が弱く)、固有値が小さい「粗い」固有関数ほど事前分散が小さい(罰則が強い)。これは有限次元のMAP推定(事前分布の共分散行列が罰則行列の逆に対応する)の直接の無限次元版であり、[[縮小推定]]・[[平滑化スプライン]]・[[カーネル法]]を貫く「正則化=ベイズ事前分布」という統一像を裏付ける。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8.1) - **「交差検証法」という一語で片付けていたモデル選択の内実を、ESL第7章が体系的に分解する**: 本ページ「モデル選択と交差検証」節はこれまで「未知の期待損失をデータだけから推定するには交差検証法が基本」とだけ述べていたが、[[@2009__Springer__The Elements of Statistical Learning - Chapter 7 Model Assessment and Selection]] は (1) **モデル選択**(複数モデルから最良を選ぶ)と**モデル評価**(選んだモデルの汎化誤差を推定する)が別問題であること、(2) 交差検証・ブートストラップに加えて訓練誤差の楽観性を解析的に補正する$C_p$・AIC・BIC・MDLという系列が存在すること、(3) 実測比較ではAIC・BICが最終モデルの予測誤差を30〜51%過大評価する一方、交差検証・ブートストラップはほぼ不偏(0〜4%)だが木構造では逆に約10%過小評価しうること、を示す。「交差検証法が基本」という要約は正しいが、それがなぜ他の解析的基準より頑健なのかの理由(訓練データへの依存を経由しない直接推定であること)は本ページにはなかった情報である。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 7 Model Assessment and Selection]] §7.1-§7.2, §7.11.1) - **本ページ「代表的な手法」節が一行で片付けていたロジスティック回帰を、ESL第4章は推定原理まで踏み込んで分解し、さらに同じ線形形式を導くもう一つの経路(LDA)と対比する**: 応用物理由来の表はロジスティック回帰を「2値分類、確率的出力、損失が凸」とだけ特徴づけるが、[[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.4.1はこの「損失が凸」という一語の内実を、Newton-Raphson法が反復再重み付け最小二乗(IRLS)に帰着するという具体的アルゴリズムとして示す。さらに同章§4.4.5は、[[線形判別分析]](LDA)がロジスティック回帰と**全く同じ線形logit形式**を導きながら、同時尤度Pr(X,G)(LDA)と条件付き尤度Pr(G|X)(ロジスティック回帰)という異なる原理で推定される点を対比する。本ページのベイズモデリング節が確立した「MAP推定=尤度×事前分布」という構造(§4.1)は回帰係数の点推定に関するものだったが、LDA対ロジスティック回帰の対比は「同じ関数形をどの尤度(同時か条件付きか)で推定するか」という、正則化の強さの選択とは異なる軸の設計判断があることを示しており、本ページの手法選択の議論に新しい軸を加える。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.4.1, §4.4.5) - **本ページが応用物理ソースから積み増してきた「ガウス事前分布→MAP推定→リッジ回帰」という対応(§4.1)を、[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] は式変形として厳密に導出し、経験リスク最小化の正則化パラメータ$\lambda$と事前分布の共分散$\Sigma$の対応関係まで具体的に与える**: 本ページのベイズモデリング節は「ガウス事前分布→MAP推定→リッジ回帰」という対応を結果として提示するにとどまるが、[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.3.2 Example 8.6は、ゼロ平均ガウス事前分布 $p(\theta)=\mathcal N(0,\Sigma)$ のもとで負の対数事後分布を最小化する式変形を式8.19-8.20として示し、これが正則化付き最小二乗(リッジ回帰)の目的関数と一致することを明示的に導く。さらに同章§8.2.3は経験リスク最小化側の正則化パラメータ$\lambda$、§8.3.2はベイズ側の事前分布の共分散$\Sigma$を対応させ、「正則化とMAP推定のパラメータ事前分布は同じ役割を果たす」という主張(第8章の主要主張の一つ)を与える。本ページが応用物理ソースとSLOソースの2件から独立に確認していた同一の経験則(§4.1の横断的知見)が、MML第8章によって初めて閉形式の式変形として裏付けられる。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.2.3, §8.3.2) - **MML第9章([[ベイズ線形回帰]])は、第8章が一般論(Example 8.6)として示した「ガウス事前分布→MAP推定→リッジ回帰」の対応を、リッジ回帰の閉形式解そのものとして完成させ、かつλの由来を明示する**: 第8章は式変形の一致を示すにとどまるが、第9章§9.2.3-§9.2.4は同じ導出をさらに一歩進め、事前分布$p(\theta)=\mathcal N(0,b^2I)$のもとでのMAP推定の閉形式解$\theta_{MAP}=(\Phi^\top\Phi+\frac{\sigma^2}{b^2}I)^{-1}\Phi^\top y$と、正則化最小二乗$\|y-\Phi\theta\|^2+\lambda\|\theta\|_2^2$の閉形式解$\theta_{RLS}=(\Phi^\top\Phi+\lambda I)^{-1}\Phi^\top y$が$\lambda=\sigma^2/b^2$のとき厳密に一致することを式で示す。これは本ページ「代表的な手法」節の表がリッジ回帰を「閉形式解あり」とだけ記す背景にある具体的な式であり、正則化強度$\lambda$が「観測ノイズ分散$\sigma^2$と事前分布分散$b^2$の比」という意味を持つことを明らかにする——交差検証で$\lambda$を探索する実務的な作法(本ページ「モデル選択と交差検証」節)の背後に、ノイズレベルと事前の確信の強さという解釈可能な2つの量が隠れていることになる。またMML第9章は$\ell_2$正則化を$\ell_1$に変えるとLASSOになる(Tibshirani, 1996)ことにも触れており、ESL第3章[[縮小推定]]・[[最小角回帰]]が扱うリッジ/LASSOの幾何学的説明(制約領域が円盤か菱形か)と同じ対比が、MML側では確率的(事前分布の形)な言葉で独立に現れている。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.3.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.2.3-§9.2.4) - **「ガウス事前分布→MAP推定→L2正則化、ラプラス事前分布→MAP推定→L1正則化」という対応が、応用物理・SRE統計・数学書に続き、ディープラーニング入門書からも独立に導出される**: 本ページはこの対応を応用物理([[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1)、SLO第9章のMAP推定、MML第8-9章の厳密な式変形という3系統のソースから積み上げてきたが、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.7は、犬猫の画像分類という全く異なる文脈(ディープラーニング入門)から同一の式変形($\log p(\theta)=-\theta^2/\sigma^2+$定数、ラプラス事前分布→L1)を独立に導く。応用分野(材料科学の回帰・SREの信頼性推定・抽象的な機械学習理論・ディープラーニング入門)が4通りに分かれてもなお同一の対応が独立に現れることは、この対応が特定分野の慣習ではなく機械学習という数学的枠組みに内在する構造であることを一段と強く裏づける。詳細は独立concept [[最尤推定]] を参照。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] §4.1, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.7) - **統計的機械学習の実運用価値は、予測誤差の小ささだけでなく、特徴量を介した介入可能性にある**: [[@2014__Google__Machine Learning Applications for Data Center Optimization]] は、ニューラルネットワークをPUE予測で終わらせず、IT負荷・冷却塔・ポンプ・気象特徴量を1変数ずつ変化させる感度分析へ使い、設備設定値変更の候補を得る。これは、[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] が扱う少量データ・解釈性重視の応用とは異なる大規模運用データの事例だが、モデルを意思決定へ接続するには誤差評価と変数の意味づけを併せて行うという共通点を示す。(Source: [[@2014__Google__Machine Learning Applications for Data Center Optimization]], [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]) ## 未解決の問い - 少量データ問題における転移学習・半教師あり学習との比較: 統計的機械学習と大規模事前学習モデルの組み合わせはどのような条件で有効か？ - 高次元材料特性空間でのベイズ最適化の次元の呪い: 次元削減（主成分分析・オートエンコーダ）との組み合わせはどこまで有効か？ - XAI の信頼性: SHAP 値など変数重要度の推定は少量データ条件で安定するか？ - MAP推定における事前分布の設計は、正則化回帰では交差検証で $\lambda$ を選ぶのが標準的だが、SLO サービスレベル目標9章のようにドメイン知識（過去の運用実績）から直接事前分布を構成するアプローチとの間に、体系的な使い分けの指針はあるか（[[ベイズ推定]] 参照）。 - 「同時尤度か条件付き尤度か」という推定原理の選択(ESL Ch.4 §4.4.5のLDA対ロジスティック回帰)は、応用物理の関数推定の枠組み(§2)ではどちらか一方(条件付き尤度に相当する経験損失最小化)が暗黙の前提になっている。この前提が崩れる場面(ラベルなしデータが豊富、外れ値が多い等)は応用物理・材料科学の文脈でどれだけ現実的か。 - 設備設定値を変更して得たPUE低下を、観測データからの相関と介入による因果効果にどう分離するか。感度分析と実地試験の組合せを因果推論としてどこまで形式化できるか。 ## 関連 - [[ベイズ最適化]] / [[アンサンブル学習]] / [[ベイズ推定]] / [[縮小推定]] / [[部分集合選択]] / [[最小角回帰]] / [[次元の呪い]] / [[バイアス-バリアンストレードオフ]] / [[平滑化スプライン]] / [[基底展開]] / [[カーネル法]] / [[線形判別分析]](ロジスティック回帰と同じ線形形式を異なる推定原理で導く) / [[経験リスク最小化]](正則化=事前分布の対応の厳密な導出元) / [[ベイズ線形回帰]](リッジ回帰=MAP推定の閉形式解とλの由来) / [[最尤推定]](MAP推定=正則化の4件目の独立確認元) - ソース: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] / [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 1 Introduction]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 2 Overview of Supervised Learning]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]](ロジスティック回帰の推定原理・LDAとの対比) / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]](MAP推定=正則化の厳密な式変形) / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]](リッジ回帰の閉形式解とλ=σ²/b²の導出) / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]](MAP推定=正則化の4件目の独立導出) - エンティティ: [[赤穂昭太郎]] ## 出典 - [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]] - [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] §9.2.2-§9.2.3 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 1 Introduction]] - [[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] §3.4.3 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 2 Overview of Supervised Learning]] §2.5, §2.9 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8.1 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.4.1, §4.4.5 - Deisenroth, M. P., Faisal, A. A., Ong, C. S., *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 8, §8.2.3, §8.3.2; Chapter 9, §9.2.3-§9.2.4 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.7.