# 独立成分分析 ## 定義 独立成分分析(independent component analysis, ICA)は、観測される多変量データ $X$ を、統計的に独立な潜在信号 $S$ の線形混合 $X=AS$ としてモデル化し、混合行列 $A$(あるいはその逆)を推定して原信号を分離する手法である。古典的な因子分析モデル $X=AS+\varepsilon$ が $S$ の**無相関性**(2次のモーメントのみを制約)しか仮定しないのに対し、ICAは $S$ の**統計的独立性**(すべての次数のモーメントを制約)を仮定する点が本質的な違いである。多変量ガウス分布は2次モーメントだけで決まる例外的な分布であるため、独立成分がガウスである限り回転の不定性(直交行列 $R$ に対し $AS=(AR^T)(RS)$ が同じ分布を与える)は解消されない。したがってICAは**独立性と非ガウス性**の両方を要求することで、因子分析が抱える回転の不定性問題を解消する。事前に白色化(共分散を単位行列化)したデータに対し、直交行列 $A$ を、成分間の相互情報量 $I(Y)=\sum_j H(Y_j)-H(Y)$($Y=A^TX$)を最小化するように求める。これは各成分のエントロピー $H(Y_j)$ の和を最小化すること、すなわち標準ガウス分布からの逸脱を測るネゲントロピー $J(Y_j)=H(Z_j)-H(Y_j)$($Z_j$: 同分散のガウス変数)を最大化することと等価である。代表的アルゴリズムに、ネゲントロピーの近似を最適化するFastICA(Hyvärinen and Oja, 2000)と、一般化加法モデルで各成分密度 $f_j(s_j)=\phi(s_j)e^{g_j(s_j)}$ を直接推定するProDenICA(Hastie and Tibshirani, 2003)がある。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]] §14.7.1–14.7.4) ## 横断的知見 - **入門書(ch.2)は、ESL第14章が「無相関性(2次モーメント)対統計的独立性(全次数モーメント)」という精緻な区別で説明するICAの本質を、「射影後の各次元が互いに独立になるような制約」という1文に圧縮して提示する**: 本ページの定義は、ICAが古典的因子分析の無相関性の仮定を統計的独立性へ強化することで回転の不定性を解消するという、モーメントの次数に基づく理論的な説明をESL第14章から得ている。[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4のコラム「主成分分析と独立成分分析、行列分解による低ランク表現」は同じ性質を「独立成分分析は、入力を射影後の各次元がお互い独立になるような制約下で、元のデータの情報をできる限り落とさないように変換する。『データ生成源が独立である』という仮定が成り立つなら有効」と述べ、独立性の仮定を要求する理由(データ生成源が独立であるという仮定への依拠)を明示する点で、本ページの「なぜ独立性が必要か(回転の不定性解消)」とは異なる角度(仮定の妥当性条件)からICAの適用範囲を補足する。両者は矛盾せず、前者が数学的必要性、後者が実務的な適用条件を述べるという相補的な関係にある。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]] §14.7.1, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 未解決の問い - ICAとPCAはともに特異値分解に基づく白色化を出発点とするが、PCAが分散最大化(2次モーメント)を目的とするのに対しICAは独立性(高次モーメント)を目的とする。両者を組み合わせた(例えば次元削減としてPCAで前処理しつつICAで信号分離する)場合の情報損失の定量的評価は本章に含まれない。 - ProDenICAはFastICA・KernelICAと同等以上の性能をAmari距離で示すが(§14.7.4、図14.42)、計算コスト(一般化加法モデルの反復フィッティング)がFastICAと比べてどの程度大きいかは定量化されていない。 - 探索的射影追跡(§14.7.3)とICAは「数理的にほぼ同一の枠組み」とされるが、射影方向の直交制約の有無という違いが実データでどの程度結果に影響するかは本章では検証されていない。 - EEG応用(§14.7.2)では独立成分の解釈(まばたき・心拍アーチファクトの分離)が定性的に示されるのみで、成分数(何個のICA成分を抽出すべきか)の選択基準は論じられていない。 ## 関連 - ソース: [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]](§14.7) / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]](独立性の仮定条件の平易な言及) - 概念: [[主成分分析]](白色化・特異値分解を共有するが、無相関性ではなく統計的独立性を要求する点で対比される) ## 出典 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]](§14.7.1–14.7.4、式14.78–14.97) - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.4.