> [!abstract] 概要 > 物理学などの自然科学や製造業などの産業分野における多くの問題は、深層学習以外のデータ分析手法を用いる方が効果的に解決できる場合が多い。これは、少量の貴重なデータからドメイン知識を活用しつつ適切に情報を抽出し、得られた結果を解釈する必要があるためである。本稿では、そのような目的に有用な機械学習の基礎的手法と、深層学習の理解にも資する機械学習の基本概念について概説する。 ## 論文情報 - **タイトル**: 機械学習の原点：統計的機械学習の世界 - **著者**: [[赤穂昭太郎]]（[[産業技術総合研究所]] 人間情報インタラクション研究部門 上級主任研究員） - **掲載誌**: 応用物理 第95巻 第5号（2026）pp.274–279 - **受付**: 2025年12月1日 / **受理**: 2026年1月28日 - **シリーズ**: 基礎講座「機械学習・AI×応用物理」第2回（2026年5月号） - **PDF**: `.raw/papers/oubutsu-2026-95-5-274.pdf`（6ページ） ## 概要 応用物理研究者を対象とした入門解説。深層学習が万能ではない理由を論じたうえで、少量データ・ドメイン知識・解釈性が求められる場面で有効な統計的機械学習の基本枠組みと代表的手法（線形モデル・スパースモデリング・k-NN・アンサンブル学習・ベイズモデリング）を概説する。ベイズ最適化による実験計画への応用も含む。 **Figure 1: 図** ![[_attachments/oubutsu-2026-95-5-274/fig1-figure.png]] (Figure 1. 論文中の主要な図を示す。) **Figure 2: 図** ![[_attachments/oubutsu-2026-95-5-274/fig2-figure.png]] (Figure 2. 論文中の主要な図を示す。) **Figure 3: 図** ![[_attachments/oubutsu-2026-95-5-274/fig3-figure.png]] (Figure 3. 論文中の主要な図を示す。) ## 問題設定 - **入力**: 説明変数 $x$（温度・組成比などの制御パラメータ） - **出力**: 目的変数 $y$（材料特性値・クラスラベル等） - **前提条件**: 学習データが少量、ドメイン知識の活用が可能、予測根拠の解釈が重要 深層学習の採用条件（大量データ・ブラックボックス許容）と多くの科学・製造業の現場とは不一致であり、統計的機械学習が現実的な選択肢となる（§1「まえがき」）。 ## 提案手法（基礎枠組みと代表モデル） ### 機械学習の基本的な枠組み（§2） **関数推定の本質**: 損失関数（例: 2乗誤差）を最小化するパラメータを求めることが機械学習の基本。教師あり学習と教師なし学習の区別、学習アルゴリズムの役割を整理。 **汎化能力と次元の呪い（§2.2）**: 経験損失の最小化と期待損失（真の目標）の差（汎化バイアス）を小さくすることが重要。モデルが複雑になるほど過学習リスクが増大。高次元ではデータ間距離が集中（$d$次元標準正規分布の任意2点間距離は$\sqrt{2d}$付近に集中）し、「最近傍」の意味が失われる。 **特徴量エンジニアリング vs アーキテクチャエンジニアリング（§2.3）**: 統計的機械学習では分野ごとのドメイン知識から導いた特徴量を手動設計（特徴量エンジニアリング）。深層学習では大量データを背景に特徴そのものをデータから学習（アーキテクチャエンジニアリング）。 **解釈性（§2.4）**: XAI（説明可能 AI）として、変数重要度の定量化が重要。手法例: - 局所評価: Permutation Feature Importance, Partial Dependence - 寄与分解: SHAP ($f(x) = \sum_i \phi_i(x)$), Integrated Gradient ### 代表的な学習モデル（§3） **線形モデルとスパースモデリング（§3.1）**: - リッジ回帰（2次正則化）で汎化能力を改善 - LASSO 回帰（$\ell_1$正則化）で変数選択 - スパースモデリング: 圧縮センシング・ブラックホール高解像度撮像にも応用 - ロジスティック回帰: 2値分類（負の対数尤度は凸関数→効率的最適化） **k-最近傍法（k-NN）（§3.2）**: 最も近いk個の学習データからの多数決/平均。非常に単純ながら十分なデータで高精度。ただし次元の呪いを強く受ける。 **決定木とアンサンブル学習（§3.3）**: [[アンサンブル学習]] を参照。 - バギング（ブートストラップ法 + 平均）→ ランダムフォレスト（さらに変数サブセットをランダム化） - ブースティング（残差を逐次的に減らす）→ XGBoost, LightGBM ### ベイズモデリング（§4） **モデリングと推論（§4.1）**: パラメータもデータもすべて確率変数として扱う枠組み。データ生成過程を $p(\boldsymbol{\theta}) \cdot p(\boldsymbol{y}|\boldsymbol{x}, \boldsymbol{\theta})$ でモデル化（生成モデル）し、観測 $D$ のもとで事後分布 $p(\boldsymbol{\theta}|D) \propto p(\boldsymbol{y}|\boldsymbol{x},\boldsymbol{\theta}) \cdot p(\boldsymbol{\theta})$ を計算（ベイズ推論）。 MAP 推定との関係: - 事前分布にガウス分布 → リッジ回帰と一致 - 事前分布に両側指数分布 → LASSO 回帰と一致 **ベイズ推論のアルゴリズム（§4.2）**: 複雑な事後分布の近似法: - ラプラス近似（ガウス近似） - 変分ベイズ法（物理の平均場近似に相当） - MCMC（マルコフ連鎖モンテカルロ法）: 計算コスト大だが汎用性高く、近似なし推論への収束保証あり **ベイズ最適化（§4.3）**: [[ベイズ最適化]] を参照。 ## 新規性 本稿は原著論文でなく基礎講座（チュートリアル）である。**新規性よりも以下の教育的貢献が主眼**: 1. 応用物理研究者向けに深層学習と統計的機械学習の使い分け基準を明示 2. 汎化バイアス・次元の呪い・モデル選択を実用的文脈で一貫して説明 3. ベイズ最適化を材料探索（少ない実験回数での制御パラメータ最適化）の実践的枠組みとして位置づけ 4. MAP 推定とリッジ/LASSO 回帰の同値性をベイズの視点から整理（応用物理研究者には新鮮な接続） ## 実験設定 本稿は実験論文でない。事例として挙げられる設定: - 温度 $x$ から材料特性値 $y$ を予測する直線当てはめ（§2） - 原材料の配合比率・合成温度・時間のパラメータ最適化（§4.3） - 台風の予報円（ベイズ推論の確率分布的結果の典型例） ## 実験結果・考察 定量評価は行わない解説記事。主な主張: - アンサンブル学習は深層学習より高速学習だが画像直接入力には不向き - ランダムフォレスト・XGBoost/LightGBM は特徴量エンジニアリングがうまくいけば高精度 - ベイズ最適化の限界: 次元の呪いを受けやすい・滑らかでない関数には不向き ## 強み / 弱点・課題 **強み**: - 応用物理研究者（計測データが少量・物理シミュレーション活用可能な文脈）への的確なターゲティング - 通常の機械学習とベイズモデリングの対応関係（MAP推定 ↔ リッジ/LASSO）を簡潔に整理 - 2026年の基礎講座シリーズとして続編（深層学習・生成AI・AIチップ）との体系的なつながりがある **弱点・課題**: - スペースの制約上、各手法の詳細実装・ハイパーパラメータ選択の実践的手順は省略 - ベイズ最適化の次元の呪い問題への対処法（次元削減・カーネル選択）は示されていない - 半教師あり学習・転移学習など、少量データ問題への他のアプローチとの比較がない