# 線形判別分析 ## 定義 線形判別分析(linear discriminant analysis, LDA)とは、各クラス $k$ の条件付き密度 $f_k(x)$ を多変量ガウス分布と仮定し、さらに**共通の共分散行列** $\Sigma_k=\Sigma\ \forall k$ を課すことで、クラス $k,\ell$ 間の対数事後オッズ $\log[\Pr(G=k|X=x)/\Pr(G=\ell|X=x)]$ が $x$ の線形関数になることを利用した分類手法である。判別関数 $\delta_k(x) = x^T\Sigma^{-1}\mu_k - \tfrac12\mu_k^T\Sigma^{-1}\mu_k + \log\pi_k$ を最大化するクラスに分類する。共分散行列をクラスごとに区別する(仮定を外す)と判別関数は $x$ の二次関数になり、**二次判別分析(QDA)**と呼ばれる。両者とも、クラス指示変数への素朴な線形回帰が K≥3 クラスで陥る「masking(遮蔽)問題」を回避する。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.2–4.3) ## 決定境界の導出とバイアス-バリアンストレードオフ LDA/QDAの決定境界は、決定理論(クラス事後確率 $\Pr(G|X)$ を最大化する)から出発し、ベイズの定理でクラス密度と事前確率に分解した上で密度をガウス分布と仮定するという、確率モデルを明示した経路で導かれる。共通共分散の仮定は「正規化項と2次の項がキャンセルする」という数学的な帰結として線形性をもたらし、仮定を外すと2次項が残ってQDAになる。LDA/QDAが多様な実データで良好な成績を残す(STATLOGプロジェクトで22データセット中LDAが7件・QDAが4件でトップ3入り)理由は、データが真にガウス分布に従うからではなく、**データが線形・二次程度の単純な境界しか支持できず、ガウスモデルによる推定が分散の小さい安定した境界を与える**というバイアス-バリアンストレードオフにあると考えられている。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.3) 正則化判別分析(RDA)は $\hat\Sigma_k(\alpha)=\alpha\hat\Sigma_k+(1-\alpha)\hat\Sigma$ によりLDA($\alpha=0$)とQDA($\alpha=1$)を連続的に補間する共分散行列の縮小推定であり、詳細と[[縮小推定]]全体との関係は当該ページに譲る。 ## 正準変量による次元縮約 K個のクラス重心はp次元空間内の高々 $K-1$ 次元アフィン部分空間に載るため、分類に必要な情報を保ったまま低次元へ縮約できる。Fisherは、クラス間分散をクラス内分散に対して最大化する基準(Rayleigh商 $\max_a a^TBa/a^TWa$、$B$: between-class covariance、$W$: within-class covariance)による一般化固有値問題として、この縮約をガウス分布の仮定なしに導いた。得られる逐次直交な方向は正準変量(canonical variates)・判別座標(discriminant coordinates)と呼ばれる。これは主成分分析の一般化固有値版とみなせるが、通常のPCAが**全分散**のみを最大化するのに対し、正準変量は**クラス内分散に対するクラス間分散の比**を最大化する点で異なる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.3.3。主成分分析との関係の詳細は [[主成分分析]] を参照) ## ロジスティック回帰との対比 LDAとロジスティック回帰は、事後オッズの対数が $x$ の線形関数であるという**全く同じ関数形**を持ちながら、パラメータの推定方法が異なる。ロジスティック回帰は入力の周辺分布 $\Pr(X)$ を不問に付し条件付き尤度 $\Pr(G|X)$ のみを最大化するのに対し、LDAは同時尤度 $\Pr(X,G)=\phi(X;\mu_k,\Sigma)\pi_k$ を最大化しガウス母数の最尤推定を経由する。この違いから、(1) ガウス仮定が正しければLDAはより効率的(周辺尤度の情報も使うため誤差率換算で最大約30%の効率差、Efron 1975)、(2) LDAは決定境界から遠い点も共分散推定に使うため外れ値にロバストでない、(3) 完全分離データではロジスティック回帰の最尤推定は発散するがLDAは周辺尤度による正則化効果で有限に定まる、という差が生じる。実務的には、著者らの経験ではLDAを質的な説明変数に不適切に用いても両者は近い結果を与えるとされる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] §4.4.5) ## 横断的知見 ## 未解決の問い - LDAとロジスティック回帰の効率差(ガウス仮定下で最大約30%、Efron 1975)は、ガウス仮定がどの程度崩れると逆転し条件付き推定が有利になるか、本章は定量的な閾値を与えていない。 - RDAの2パラメータ族 $(\alpha,\gamma)$([[縮小推定]]参照)を統一的に扱う一般形は本書の範囲では明示されていない。[[縮小推定]]の未解決の問いと共通の課題である。 - 正準変量によるLDAの次元縮約(Fisherの基準)は、教師ラベルを使わない主成分分析の次元縮約と幾何学的にどこまで統一的に記述できるか。FDA(flexible discriminant analysis)・PDA(penalized discriminant analysis)・MDA(mixture discriminant analysis)といったLDAの柔軟な拡張(第12章)がこの問いに答える可能性がある。 ## 関連 - 概念: [[縮小推定]](RDAによる共分散行列の縮小) / [[主成分分析]](正準変量との対比) / [[統計的機械学習]] / [[サポートベクターマシン]](最適分離超平面との対比元) - ソース: [[@2009__Springer__The Elements of Statistical Learning - Chapter 4 Linear Methods for Classification]] ## 出典 - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 4, §4.2–4.5.