# 直交射影 ## 定義 ベクトル空間 $V$ とその部分空間 $U\subseteq V$ に対し、線形写像 $\pi:V\to U$ が冪等性 $\pi^2=\pi\circ\pi=\pi$ を満たすとき $\pi$ を射影(projection)と呼ぶ。対応する変換行列 $P_\pi$ も $P_\pi^2=P_\pi$ を満たす。射影のうち、$x\in V$ との距離 $\|x-\pi_U(x)\|$ を最小化するもの(誤差ベクトル $x-\pi_U(x)$ が $U$ に直交する)を**直交射影**と呼ぶ。 内積空間 $(\mathbb{R}^n,\langle\cdot,\cdot\rangle)$ において、部分空間 $U=\mathrm{span}[b_1,\dots,b_m]$(基底ベクトルを列とする行列 $B=[b_1,\dots,b_m]\in\mathbb{R}^{n\times m}$)への直交射影は、直交条件 $\langle b_i,x-\pi_U(x)\rangle=0\ (i=1,\dots,m)$ から導かれる正規方程式(normal equation) $B^\top B\lambda=B^\top x$ を解くことで一意に定まる。$B$ がフルランクなら $B^\top B$ は正則で、座標 $\lambda=(B^\top B)^{-1}B^\top x$、射影点 $\pi_U(x)=B\lambda$、**射影行列** $P_\pi=B(B^\top B)^{-1}B^\top$ が得られる。$(B^\top B)^{-1}B^\top$ は疑似逆行列(pseudo-inverse)と呼ばれ、$B$ が正方でなくても($B$ がフルランクである限り)定義できる。$\dim(U)=1$(直線 $U=\mathrm{span}[b]$)の特殊ケースでは $P_\pi=bb^\top/\|b\|^2$ に簡約される。基底が正規直交基底(ONB)なら $B^\top B=I$ となり、逆行列計算なしで $\pi_U(x)=BB^\top x$、$\lambda=B^\top x$ に簡略化される。射影行列は常に冪等かつ対称である。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] §3.8.1, §3.8.2) 部分空間への射影を反復適用すると、任意の基底を直交基底へ構成的に変換できる(Gram-Schmidt直交化: $u_1:=b_1$、$u_k:=b_k-\pi_{\mathrm{span}[u_1,\dots,u_{k-1}]}(b_k)$)。またアフィン部分空間 $L=x_0+U$ への射影は、支持点 $x_0$ を引いて部分空間への射影に還元し、後で $x_0$ を足し戻すことで得られる($\pi_L(x)=x_0+\pi_U(x-x_0)$)。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] §3.8.3, §3.8.4) ## 横断的知見 - **第9章(線形回帰)の最尤推定は、本概念の正規方程式・射影行列とまったく同じ式で書ける**: 第9章§9.2.1が導く最尤推定の正規方程式 $\theta_{ML}^\top X^\top X=y^\top X$ は、本概念の正規方程式 $B^\top B\lambda=B^\top x$ に $B=X$(デザイン行列)、$\lambda=\theta_{ML}$、$x=y$(目的変数ベクトル)を代入したものと式レベルで完全に一致する。したがって最尤推定解 $X\theta_{ML}=\frac{XX^\top}{X^\top X}y$ における係数 $\frac{XX^\top}{X^\top X}$ は本概念の射影行列 $P_\pi=B(B^\top B)^{-1}B^\top$ の $\dim(U)=1$ の特殊ケースそのものであり、$\theta_{ML}$ は射影座標 $\lambda$、$X\theta_{ML}$ は $y$ をデザイン行列の列空間へ直交射影した点にあたる。特徴を持つ一般の線形回帰(特徴行列 $\Phi$)でも同じ対応が $K$ 次元部分空間への射影として成り立つ。さらに特徴関数が正規直交(ONB)なら、本概念が示すONBでの簡略化 $\pi_U(x)=BB^\top x$ がそのまま「特徴間の結合が消え各基底ベクトルへの射影の単純な和になる」という第9章の結果(式9.71)に一致する。これにより第3章冒頭で予告されていた「純粋に幾何的な道具が回帰に効く」という接続が、式の同一視という形で実際に確認できた。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] §3.8.1-§3.8.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.2.1, §9.4) - **第10章(主成分分析)の「射影の観点」は、本概念の正規直交基底版の射影公式 $\pi_U(x)=BB^\top x$ そのものである**: 第10章§10.3 は平均二乗再構成誤差 $J_M=\frac1N\sum_n\lVert x_n-\tilde x_n\rVert^2$ の最小化から出発し、正規直交基底 $(b_1,\dots,b_M)$ を固定したときの最適な座標が $z_{in}=x_n^\top b_i$ になること、すなわち**最適な線形射影は必ず直交射影になる**ことを導く。これは本概念が第3章§3.8.2 で示した「基底が正規直交なら射影は $BB^\top x$、座標は $B^\top x$」という結果に、基底の中身を問わずそのまま一致する。第10章が付け加えるのは、その部分空間の基底をどう選ぶかという問いへの答え(データ共分散行列 $S$ の上位 $M$ 個の固有ベクトル)であり、これは本概念の枠組みが未決にしていた部分にあたる。回帰(第9章)が「射影先の部分空間はデザイン行列の列空間として与えられ、座標を求める」問題だったのに対し、主成分分析は「座標の求め方は自明で、射影先の部分空間そのものを最適化する」問題である、という対比になる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] §3.8.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 10 Dimensionality Reduction with Principal Component Analysis]] §10.3.1-§10.3.3, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.4) ## 未解決の問い - 第12章(サポートベクターマシン)の分離超平面は、アフィン部分空間への射影(§3.8.4)とどう関係するか。またカーネル法(§3.2.3 の対称正定値行列と内積の対応)は、本概念の射影行列をどのように一般化(あるいは回避)するか。 - 射影行列 $P_\pi$ の固有値が 1(射影先の部分空間 $U$ 上)と 0($U^\perp$ 上)のみになるという事実(第3章本文で第4章の固有値分解を先取りして言及されている)は、第4章の固有値分解の概念とどのように接続するか。 ## 関連 - source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]](最尤推定の幾何的解釈) / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 10 Dimensionality Reduction with Principal Component Analysis]](主部分空間への射影) - concept: [[線形写像と変換行列]] / [[ベイズ線形回帰]] / [[主成分分析]] - entity: [[Mathematics for Machine Learning]] ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, §3.8 (Orthogonal Projections), §9.4 (Maximum Likelihood as Orthogonal Projection), §10.3 (Projection Perspective).