## 定義 アンサンブル学習（ensemble learning）は、複数の学習モデル（弱学習器）の出力を統合して、単一モデルより高い予測精度を得る手法の総体である。決定木を基底学習器として使うことが多く、バギングとブースティングが2大方式である（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]、§3.3）。 ## 基底学習器: 決定木 - 変数の閾値比較による再帰的な分岐（if 文のツリー構造）→ 解釈性が高い - 単独では他手法と比べ精度が低い。ツリーを深くすれば訓練誤差は下がるが過学習する - アンサンブル化することで汎化能力を向上させる ## バギング（bagging） **手順**: 1. 元の学習データからブートストラップサンプル（復元抽出）で $B$ 個のデータセットを作成 2. 各データセットで独立に決定木を学習 3. $B$ 本の木の予測を平均（回帰）または多数決（分類）する **ランダムフォレスト**: バギングに加えて各分岐ノードで**入力変数のランダムなサブセット**を使って学習し、木のバリエーションをさらに増やす。汎化能力と計算効率のバランスが優れる。 ## ブースティング（boosting） **手順**: 1. 浅い決定木（弱学習器）を1本学習 2. 前の木の**残差**を減らすように次の木を学習 3. 逐次追加した木の出力の総和で予測 バギングが並列（独立な木の平均）なのに対し、ブースティングは**逐次的**（前の木の誤りを補う）。この「残差を減らす」という説明は二乗誤差損失の場合に正確で、分類での本来のAdaBoostは残差ではなく観測の重み付け替えで働く。詳細な統計的定式化(前向き段階的加法モデリングとしての再解釈)は[[勾配ブースティング]]を参照。 **代表的な実装**: - **XGBoost**: 欠損値処理・カテゴリ変数対応・正則化を統合した高速実装 - **LightGBM**: 葉優先の木成長（leaf-wise）で大規模データでも高速 ## 特性とトレードオフ | 観点 | バギング（RF）| ブースティング（XGB/LGBM）| |---|---|---| | 学習方式 | 並列・独立 | 逐次・依存 | | 過学習リスク | 低め | 高め（ただし正則化で制御）| | 精度 | 高い | 一般に高い（タブラーデータで最強クラス）| | 解釈性 | 変数重要度で部分的に | 変数重要度で部分的に | | 速度 | 高速（並列化容易）| 実装依存（LightGBM は非常に高速）| **解釈性の注意**: 決定木単独の解釈性（if-then ルール）はアンサンブル化で失われる。変数重要度（分割頻度に基づく指標など）を使うが、意味の解釈に注意が必要（§3.3、§2.4）。 ## 深層学習との比較 - アンサンブル学習は深層学習より**高速に学習**できる（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]、§3.3） - 画像・音声などの生データをそのまま入力する用途には不向き（特徴量エンジニアリングが前提） - タブラーデータ・構造化データでは XGBoost/LightGBM が深層学習と互角以上の精度を示すことが多い ## 総括の視点: 基底の辞書 + 事後の重み付け(ESL第16章) ESL第16章は、バギング・ランダムフォレスト・ブースティング・スタッキングを含むアンサンブル学習全体を、**2段構え**の共通構造として統一的に見直す: (1) 訓練データから基底学習器(典型的には木)の**辞書**を生成する段階、(2) 生成された辞書上で予測に使う**重み**を当てはめる段階。この視点に立つと、バギング・ランダムフォレストは「辞書生成をブートストラップ+分割変数の乱択化で行い、重みは単純平均/多数決に固定する」特殊ケース、ブースティングは「辞書生成と重み付けを1本ずつ交互に(適応的に)進める」特殊ケースとして位置づけ直せる(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]] §16.1, §16.3)。 - **辞書生成の統一: ISLE(重要度サンプリング学習アンサンブル)**。Friedman and Popescu (2003) は辞書生成を数値求積・重点サンプリングの言葉で定式化し、部分標本抽出率 $\eta$ とメモリパラメータ(縮小率) $\nu$ という2つのパラメータで生成方式を統一する(Algorithm 16.2)。バギングは $\eta=1$(復元抽出)・$\nu=0$、ランダムフォレストのサンプリングも同様だが分割変数選択にさらに乱択性を追加、縮小つき勾配ブースティングは $\eta=1$ だが辞書の多様性(幅 $\sigma$)が不足しがち、確率的勾配ブースティング(Friedman, 1999)はISLEの手続きをそのまま踏襲する。すなわち本ページが個別に紹介してきたバギング・ランダムフォレスト・ブースティングは、独立な発明ではなく、ISLEという単一の生成スキームのパラメータ設定違いとして統一的に記述できる。 - **重み付けの統一: lassoによる事後の重み付け**。生成された有限な辞書 $\mathcal T_L=\{T_1,\dots,T_M\}$ に対し、lassoパス $\alpha(\lambda)=\arg\min_\alpha\sum_iL(y_i,\alpha_0+\sum_m\alpha_mT_m(x_i))+\lambda\sum_m|\alpha_m|$(式16.9)を当てはめる後処理段階を挟むことで、既存のランダムフォレスト・勾配ブースティングの出力(例: spamデータで1000本の木)を、性能を維持または改善しつつ数十本程度まで縮小できる。バギング(単純平均)・ブースティング(逐次加算)が採用する重み付けは、この一般的な事後重み付け問題の一部の特殊解にすぎない。 - **辞書のさらなる拡張: Rule Ensembles(RuleFit)**。基底学習器の単位を木そのものから、木の各ノードに対応する規則(根からそのノードまでの分岐条件の積)へ広げる。規則の集合は木に対する過完備な基底をなし、線形項(元の変数)も併せて辞書に加えられるため、解釈性を保ちつつ表現力を拡張できる(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]] §16.3.2)。 ## 横断的知見 - 応用物理・材料科学では少量の計測データに構造化された記述子（特徴量）を使う場面が多く、アンサンブル学習（特にランダムフォレスト）は実用的な第一選択肢になりうる（[[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]]） - [[統計的機械学習]] の枠組みでは「モデルの複雑さ」と「汎化能力」のトレードオフが中心的な問いであり、アンサンブル学習はその典型的な解決策の一つ - **強力なモデルどうしのアンサンブルが思ったより効果が小さい理由を[[モデル表現収束]]が説明する**: 弱いモデルはそれぞれ異なる欠点を持つため束ねると補い合い大きな改善が得られるが、強力なモデルどうしは既に表現が似ているため束ねても似たような出力しか得られない。ただし「プラトン的表現」へ異なるアプローチで近づいているならば、その中点が真理により近いという意味でアンサンブルの効果が残る可能性もある。(Source: [[joisino-アンナカレーニナの法則-2025]]) - **本ページの「決定木単独では精度が低く過学習しやすい」という記述は、決定木側の構造的な原因まで遡ると理解が深まる**: [[決定木]](ESL)は、階層的な分割ゆえに上位の分割の誤りが下位すべてに伝播する高分散(不安定性)、非滑らかな予測面、加法構造の学習困難という3つの構造的弱点を持つことが示されている。バギング・ランダムフォレストが有効なのは、この不安定性(高分散性)を複数木の平均化で直接打ち消せるためであり、単に「精度が低いモデルを束ねると良くなる」という経験則ではなく、決定木の分散特性に対する具体的な対処と説明できる。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]] §9.2.4) - **本ページの「ランダムフォレストはバギングに加えて各分岐ノードで入力変数のランダムなサブセットを使って学習し、木のバリエーションをさらに増やす」という記述は、なぜそれが有効かをESL第15章の分散分解が定量的に説明する**: バギングされた木の平均の分散は $\rho\sigma^2+\frac{1-\rho}{B}\sigma^2$(式15.1)と分解でき、木の本数 $B$ を増やしても消えない第1項(木どうしの相関 $\rho$)がバギング単体の改善に上限を課す。ランダムフォレストが各分割で説明変数をランダムに絞り込むのは、この理論的に避けられない相関の壁を能動的に下げる操作であり、「バリエーションを増やす」という直感的表現の背後には木どうしの脱相関という具体的なメカニズムがある。ブートストラップされた木の $\rho$ は典型的に0.05以下と小さいが、標本平均のような線形推定量ではブートストラップされた推定量どうしの相関は約50%と高いままで、この脱相関効果は決定木のような高分散・非線形な推定量に特有の恩恵である。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 15 Random Forests]] §15.2, §15.4.1) - **本ページの「ブースティングは前の木の残差を減らすように次の木を学習する」という説明は、二乗誤差損失の場合にのみ厳密に正しい**: ESL第10章によれば、ブースティングの一般形は「前向き段階的加法モデリング」であり、損失関数に応じて各段の部分問題の中身が変わる。分類でAdaBoostが解いているのは指数損失のもとでの観測の重み付け替えであり「残差」を直接扱ってはいない。任意の微分可能な損失関数に対応する勾配ブースティングでは、残差の代わりに損失の負の勾配(擬似残差)に木を当てはめる。「残差を減らす」という直感的な説明は二乗誤差回帰という特殊ケースの記述であり、分類やロバスト回帰では一般化された「損失関数を段階的に最小化する」という説明の方が正確である。(Source: [[@2026__応用物理__機械学習の原点 - 統計的機械学習の世界]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 10 Boosting and Additive Trees]] §10.2-10.4, §10.10) - **バギングとブースティングが「なぜ」有効かという問いに、ESL第16章は縮小推定と同じ数学的言語で答えを与える**: 本ページはランダムフォレストの分散削減(§15.2の分散分解)とブースティングの前向き段階的加法モデリング(第10章)を並べて紹介してきたが、両者は独立の説明原理ではない。第16章は縮小つきブースティングの前向き段階的アルゴリズム(Algorithm 16.1)が、木を基底とする巨大な辞書上でのlasso正則化パス(式16.2、[[縮小推定]]で扱うL1罰則)を近似することを示す。すなわちブースティングが過学習しにくく高精度を保つ理由の一端は、決定木特有の性質ではなく、[[縮小推定]]が一般に持つ「バイアスをわずかに増やして分散を大きく減らす」という性質そのものである。ランダムフォレストの脱相関(§15.4.1)とブースティングの縮小(第16章)は、アンサンブル学習という同じ目的に対する異なる数学的手段(分散削減 対 正則化パス)として対比できる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 15 Random Forests]] §15.2, [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]] §16.2.1) - **高次元での手法選択という問いに、第16章は「bet on sparsity」原理として明示的な指針を与える**: 本ページは特徴量エンジニアリング前提の応用(材料科学など)でランダムフォレストが実用的な第一選択肢になりうると述べてきたが、これは暗黙に「密な」設定を想定している。第16章のシミュレーション(図16.2)は、真の係数がスパースならL1罰則(lasso・ブースティング)がL2罰則(ridge・カーネル法)を大きく上回り、密ならL2罰則が(わずかに)優るがどちらも十分なデータがなければ良い性能を出せないことを示す。したがって「アンサンブル学習の中でどの手法(バギング系かブースティング系か)を選ぶか」は、対象問題が疎か密かの見立てに帰着でき、[[縮小推定]]・[[部分集合選択]]が扱う罰則選択の一般論(L1対L2)がアンサンブル手法選択にもそのまま適用できる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]] §16.2.2) - **バギングの分散削減が有効な理由は、二乗誤差損失の下で「平均化はバイアスを変えずに分散だけを取り除く」という一般的な事実に帰着する**: 母集団全体からブートストラップする理想的な集約推定量$f_{ag}(x)=E_P\hat f^*(x)$を考えると$E_P[Y-\hat f^*(x)]^2=E_P[Y-f_{ag}(x)]^2+E_P[\hat f^*(x)-f_{ag}(x)]^2\ge E_P[Y-f_{ag}(x)]^2$が成り立つ(式8.52)。本ページが第15章のランダムフォレストで扱った分散分解$\rho\sigma^2+\frac{1-\rho}{B}\sigma^2$は、この一般原理を決定木の相関構造に特化した形にすぎない。ただし0-1損失の分類ではバイアスと分散が非加法的なため議論は成り立たず、良い分類器のバギングは改善するが悪い分類器のバギングは悪化しうる(例: 常に誤って予測する分類器のバギングは誤り率0.6を1.0に悪化させる)。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 8 Model Inference and Averaging]] §8.7, 式8.52; [[@2009__Springer__The Elements of Statistical Learning - Chapter 15 Random Forests]] §15.2) - **バギングは[[ブートストラップ法]]=ベイズ事後近似という関係の応用として、ベイズ的にも解釈できる**: 第8章はブートストラップ分布が無情報事前分布下での近似的な事後分布であることを示し(§8.4)、バギング推定値$\hat f_{bag}(x)=\frac{1}{B}\sum_b\hat f^{*b}(x)$を近似的な事後平均、元の訓練標本推定値$\hat f(x)$を事後分布の最頻値(モード)とみなす(§8.8)。二乗誤差損失を最小化するのはモードではなく平均であるため、バギングが平均二乗誤差をしばしば改善する理由には、決定木の分散構造(第9・15章)だけでなくベイズ推定論的な裏付けもある。 - **スタッキング(stacked generalization)は、単純平均(バギング・committee法)より精緻なモデル重み付けとして、本ページが扱う手法群にもう1段の一般化を加える**: バギング・ランダムフォレストは同一モデルの複数当てはめを等重みで平均するのに対し、スタッキングは異種モデル(例: 決定木と線形モデル)を含む任意の候補集合に対し、各モデルのleave-one-out[[交差検証]]予測$\hat f_m^{-i}(x)$への回帰で最適重みを推定する(式8.59)。これにより、訓練誤差だけで重みを決めると最も複雑なモデルに全重みが偏る問題を回避する。バギングが「同じ手法の複数のブートストラップ版を等重みで束ねる」特殊ケースだとすれば、スタッキングは「異なる手法を不等重みで束ねる」より一般的な操作にあたる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 8 Model Inference and Averaging]] §8.8, 式8.56-8.59) - **バギング(並列)とブースティング(逐次)という2大方式の対比は、実務入門書では「三人寄れば文殊の知恵」という直感的な比喩とFeature Importanceの実務的な有用性を通じて、本ページがESL由来で蓄積してきた分散削減・縮小推定の数学的機構と同じ結論に別の言葉で到達する**: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2.6.4は、ランダムフォレストとGBDTを「複数の学習結果を組み合わせる手法をアンサンブル学習という」とまとめたうえで、「それぞれの予測モデルが弱点を補い合っている」ということわざの比喩で説明し、決定木系アルゴリズムがFeature Importance(特徴量の重要度)を利用できる点を実務上の利点として挙げる。これは本ページがESL第15・16章から蓄積してきた「脱相関による分散削減」「lasso正則化パスとしての縮小」という数学的機構の直感的な言い換えであり、専門書が示す機構(なぜ効くか)と実務書が示す利点(何が嬉しいか、どう解釈に使うか)は補完関係にある。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 2 機械学習で何ができる？]] §2.2.6.4, [[@2009__Springer__The Elements of Statistical Learning - Chapter 15 Random Forests]] §15.2, §15.4.1) - **「解釈性は変数重要度で部分的に」という本ページの評価(特性とトレードオフの表)を、[[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]]は「部分的」の中身を具体的に反証・補強する**: 本ページは表で解釈性を「変数重要度で部分的に」と評してきたが、ch.8 §8.7は、この変数重要度(Feature Importance)自体が[[多重共線性]]によって歪められることを実証する。ランダムフォレストは各決定木で特徴量をランダムに選択するため、One-Hot Encodingで生まれた実質同一の特徴量(`OverTime_Yes`と`OverTime_No`)にFeature Importanceが分散してしまい、本来1つの特徴量として合算されるべき重要度が過小評価される。MonthlyIncomeを10列複製する実験では、元のMonthlyIncomeのFeature Importanceが大きく低下することも示された。すなわち「変数重要度による部分的な解釈性」は、多重共線性のある特徴量群では「部分的」どころか誤解を招く指標になりうる。Feature Importanceを解釈する前に相関行列で多重共線性を確認する、という実務的な予防策がch.8から得られる(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.7)。 - **決定木単体の解釈性(if-thenルール)がアンサンブル化で失われるという本ページの記述は、ch.8がFeature Importanceに加えてSHAPという第3の解釈手法を示すことでさらに相対化される**: 本ページは決定木単体の可読なif-thenルールがアンサンブル化で失われ、Feature Importanceによる部分的な解釈性に置き換わると記述してきた。ch.8 §8.8は、Feature Importance(全体を一望できるが寄与の方向が不明)と決定木の可視化(方向はわかるが少数変数しか見えない)の双方の弱点をSHAPが補うことを示す。アンサンブル学習の解釈性は「決定木のif-thenルールが失われて終わり」ではなく、Feature Importance・SHAPという専用の解釈手法群によって別の形で回復されうる。詳細な手法比較は[[予測モデルの解釈手法]]を参照(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 8 機械学習のモデルを解釈する]] §8.8)。 - **本ページがESL・応用物理ソースから蓄積してきた「なぜアンサンブルが効くか」という理論(分散削減・縮小推定)に対し、『機械学習システムデザイン』6章は「実運用でどのくらい使われているか」という採用実態と、独立な弱学習器の多数決効果を初等的な確率計算で示す**: 6章§6.1.2は、2021年のKaggleコンペティション勝利ソリューション22件中20件、SQuAD 2.0質問応答タスクのトップ10ソリューションすべてがアンサンブルであるという採用統計を示す一方、アンサンブルはデプロイとメンテナンスの複雑さゆえに実運用ではあまり好まれず、広告クリック率予測のようにわずかな性能向上が大きな経済的利益に直結するタスクに限って採用される傾向があると述べる。これは本ページが既に扱ってきた理論的な有効性(なぜ効くか)とは独立した、運用コストという実務上の採否基準を追加する。さらに6章は、3つの独立で精度70%の分類器の多数決が78.4%まで精度を高められることを表6-1の確率計算(3つとも正解0.343+2つ正解0.441=0.784)で具体的に示し、この計算が成り立つのは分類器間に相関がない場合のみで、完全に相関していればアンサンブルの精度は単独の分類器と変わらないと明記する。これは本ページがESL第15章から蓄積してきた「脱相関による分散削減」($\rho\sigma^2+\frac{1-\rho}{B}\sigma^2$)という数学的機構を、初等確率論のレベルで具体的に裏付ける初心者向けの説明であり、専門書の理論(なぜ相関が下がると効くか)と実務書の直感(独立なら効く、という具体例)は同じ結論に異なる抽象度から到達している。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 6 モデル開発とオフライン評価]] §6.1.2, [[@2009__Springer__The Elements of Statistical Learning - Chapter 15 Random Forests]] §15.2) ## 未解決の問い - 6章が示す「アンサンブルは実運用ではデプロイの複雑さゆえに好まれない」という採用実態は、本ページがESL第16章から蓄積してきた「事後の重み付け(lassoパス)による辞書の縮小」(1000本の木を数十本まで縮小できる)という技術的な緩和策とどう関係するか。辞書縮小がデプロイの複雑さを実務上どこまで軽減できるかは、両ソースとも定量的には論じていない。 - 材料科学・物理シミュレーション出力を特徴量としたアンサンブル学習の実事例での精度: 深層学習や[[ベイズ最適化]]と組み合わせるとどのくらい改善するか？ - XGBoost/LightGBM における SHAP による変数重要度の安定性: 少量データ（$n < 100$）条件で信頼できる解釈が得られるか？ - XGBoost/LightGBMの正則化(木の複雑さペナルティ)は、ESL第10章が論じる縮小率(shrinkage)・部分標本抽出・木サイズ固定という3つの正則化とどう対応するか。実装上の正則化パラメータ名とESLの理論的枠組みを対応づける余地がある。 - スタッキングの重みを非負・合計1に制約する二次計画問題(§8.8)は、ISLE(第16章)のlassoによる事後重み付け(式16.9)とどう関係するか。前者はleave-one-out CV予測への回帰、後者は訓練データ上でのL1正則化回帰であり、どちらも「辞書上の重み付け」という共通の問題を異なる正則化・検証戦略で解いている可能性があり、明示的な対応関係は本ページではまだ整理していない。