# 線形写像と変換行列 ## 定義 ベクトル空間 $V,W$ の間の写像 $\Phi:V\to W$ が、任意の $x,y\in V$、$\lambda,\psi\in\mathbb{R}$ に対して $\Phi(\lambda x+\psi y)=\lambda\Phi(x)+\psi\Phi(y)$ を満たすとき、$\Phi$ を線形写像(ベクトル空間準同型、線形変換)と呼ぶ。単射性・全射性の組み合わせにより、線形かつ全単射なら同型写像、$V\to V$ の線形写像なら自己準同型、その全単射版なら自己同型と分類する。 有限次元ベクトル空間 $V,W$ に順序付き基底 $B=(b_1,\dots,b_n)$、$C=(c_1,\dots,c_m)$ を選ぶと、任意の線形写像 $\Phi:V\to W$ は一意な変換行列 $A_\Phi\in\mathbb{R}^{m\times n}$ で表現できる($\Phi(b_j)=\sum_i \alpha_{ij}c_i$ の係数 $\alpha_{ij}$ を並べたもの)。$x\in V$ の $B$ に関する座標ベクトルを $\hat x$、$y=\Phi(x)$ の $C$ に関する座標ベクトルを $\hat y$ とすると $\hat y=A_\Phi\hat x$ が成り立つ。すなわち、線形写像という抽象的な操作を、基底を選ぶことで具体的な行列積に翻訳できる、というのがこの概念の核心である。 基底の選び方は変換行列の見た目を左右する。$V$ の基底を $B\to\tilde B$、$W$ の基底を $C\to\tilde C$ に取り替えると、変換行列は $\tilde A_\Phi = T^{-1}A_\Phi S$ という規則で変化する(基底変換の定理)。ここで $S$ は恒等写像 $\mathrm{id}_V$ を新基底 $\tilde B$ の座標から旧基底 $B$ の座標へ写す変換行列、$T$ は同様に $\mathrm{id}_W$ に対応する変換行列である。特に $V=W$ かつ $B=C$、$\tilde B=\tilde C$ の場合(自己準同型の基底変換)は $\tilde A_\Phi=S^{-1}A_\Phi S$ となり、これを「相似」と呼ぶ(一般の場合は「同値」と呼ぶ、より緩い関係)。 線形写像 $\Phi$ には核(零空間)$\ker(\Phi)=\{v\in V:\Phi(v)=0_W\}$ と像(値域)$\mathrm{Im}(\Phi)=\Phi(V)$ という2つの重要な部分空間が付随し、階数・退化次数定理 $\dim(\ker\Phi)+\dim(\mathrm{Im}\,\Phi)=\dim(V)$ で結びつく。行列 $A$ を $\Phi(x)=Ax$ とみなすとき、$\mathrm{Im}(\Phi)$ は $A$ の列空間(列ベクトルの張る空間、次元はランク $\mathrm{rk}(A)$)、$\ker(\Phi)$ は同次方程式 $Ax=0$ の解空間(次元は $n-\mathrm{rk}(A)$)に一致する。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 2 Linear Algebra]] §2.7) ## 横断的知見 - 第2章の変換行列の枠組みに第3章で内積を加えると、変換行列の特別なクラスとして直交行列(orthogonal matrix、$AA^\top=I=A^\top A$、すなわち $A^{-1}=A^\top$)が浮かび上がる。直交行列による変換はドット積のもとで任意のベクトルの長さと任意の2ベクトル間の角度を保存し、回転(rotation)はこの性質を持つ変換行列の具体例である。すなわち「基底を選んで線形写像を行列で表現する」という本概念の枠組みに、第3章は「その行列が幾何(距離・角度)をどう変えるか」という評価軸を追加する。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 2 Linear Algebra]], [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]]) - **未解決の問いに挙げたニューラルネットワークとの対応関係に対し、[[@2022__Gihyo__ディープラーニングを支える技術 - Appendix A ［厳選基礎］機械学習＆ディープラーニングのための数学]] が具体的な回答を与える**: MML第2章は線形写像を「加法性・斉次性を満たす抽象的な写像」として基底・核・像・階数退化次数定理という代数的構造から定義するのに対し、同 Appendix A は同じ対応関係(任意の線形関数 $f$ に対応する行列 $A_f$ が一意に存在し $f(x)=A_fx$)を証明抜きで結果だけ提示したうえで、「行列積はニューラルネットワークの全結合層や注意機構で登場し、畳み込み層も入力の並べ替えにより行列積とみなせる」と明記する。すなわち、MMLが与える抽象的な対応関係の具体例として、ディープラーニングの層構造そのものが挙げられることが、複数ソースの突き合わせで確認できた。両者の記述の深さの差(公理からの導出 対 結果の提示)は、対象読者(数学の基礎を体系的に学ぶ読者 対 DL実装者)の違いを反映している。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 2 Linear Algebra]] §2.7, [[@2022__Gihyo__ディープラーニングを支える技術 - Appendix A ［厳選基礎］機械学習＆ディープラーニングのための数学]] §A.1) ## 未解決の問い - 第4章で固有値分解・特異値分解が導入されたとき、「基底変換で変換行列を単純化する」という本概念の考え方は、どのような基底の選び方(固有ベクトル基底など)で最も強力になるか。 - 全結合層・注意機構・畳み込み層が行列積とみなせることは確認できたが、埋め込み空間の変換など、より細かい機械学習の応用文脈における線形写像との対応関係は今後の ingest で確認する必要がある。 ## 関連 - source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 2 Linear Algebra]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 3 Analytic Geometry]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Appendix A ［厳選基礎］機械学習＆ディープラーニングのための数学]] - concept: [[直交射影]] - entity: [[Mathematics for Machine Learning]] / [[wiki/entities/ディープラーニングを支える技術|ディープラーニングを支える技術]] ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, §2.7 (Linear Mappings). - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, Appendix A §A.1。