# 不変性と同変性 ## 定義 **不変性(invariance)**は、入力に対して何らかの操作を適用しても変換結果が変わらないという性質である。入力 $x$ に操作 $g$ を適用して得た $x'=g(x)$ に対し、変換 $\phi$ を適用した結果 $\phi(x')$ が、元の入力をそのまま変換した結果 $\phi(x)$ と常にすべての $x$・$g$ について一致する場合、 $\phi(x)=\phi(x')=\phi(g(x))$ が成り立ち、「変換 $\phi$ は操作 $g$ に対して不変である」という。不変は入力に対する操作を「無視する」性質であり、過去どのような操作が適用されたかという情報を変換が潰すことができる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) **同変性(equivariance)**は不変性を一般化した性質で、入力に対して適用した操作が出力にも反映される。入力 $x$ に操作 $g$ を適用した $x'=g(x)$ を変換した結果 $\phi(x')$ と、元の入力を変換した結果 $\phi(x)$ に $g$ に対応する操作 $\pi(g)$ を適用した結果が常に一致する場合、 $\pi(g)(\phi(x))=\phi(g(x))$ が成り立ち、「変換 $\phi$ は操作 $g$ に対して同変である」という。不変は同変の特殊例であり、$\pi(g)$ が入力をそのまま返す恒等変換 $\pi(g)=\mathrm{Id}$ である場合に相当する。多くの問題では $\pi(g)=g$、すなわち入力に対する変換と出力に対する変換に同じ操作を使う(例: セマンティックセグメンテーションで入力画像を平行移動させると、出力のセグメンテーション結果も同じだけ平行移動する)。同変の場合、出力は入力に対する操作を「覚えている」といえる。操作の集合は一般に「群(group)」の構造を持つと考えるのが一般的であり、物理法則が座標系のとり方によらず同じ形で成り立つ「共変性」は同変性の特殊例である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) ## モデルへの導入方法とパラメータ共有 不変性・同変性は、大量の学習データやデータオーグメンテーションを使えばある程度獲得できるが、それぞれの操作結果を別々の入力として学習させる必要がありモデルサイズが不必要に大きくなる問題、操作が連続量や組み合わせを持つ場合にすべてを列挙して学習できず未知の操作に対する予測が不変・同変にならない問題を抱える。これに対し、モデル設計を工夫することでデータオーグメンテーションなしに不変性・同変性を常に成り立つように保証できる。代表例が**パラメータ共有**である。CNNは各位置で同じフィルタを使うことで平行移動同変性を、RNNは各時刻で同じ再帰関数を使うことで時間移動同変性を達成する(最後にプーリングなど不変になる操作を適用すると同変ではなく不変になる)。グラフNNやTransformerの自己注意機構は、頂点・トークンごとにパラメータを共有することで置換不変性・置換同変性を達成する。パラメータ共有は、ある位置・時刻・頂点で学習した結果をすべての位置・時刻・頂点で再利用できることを意味し、モデルサイズを劇的に小さくし学習効率も高める。著者は、現在のCNN・RNN・Transformerが成功している大きな理由の一つが、こうした不変性・同変性を考慮したモデル設計にあると考える。より一般的な回転・鏡面操作に対する不変性・同変性を導入したモデルも登場しており、メッシュデータや点群データのように、そもそも不変性・同変性を導入しないと学習自体が困難な問題も存在する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) ## 汎化能力との関係 不変性・同変性の考慮は、機械学習の最終目標である汎化性能の獲得に特に重要だと著者は考える。不変性は分類・回帰に関係のない情報を無視する能力であり、誤った依存関係(たとえば背景と物体クラスの見せかけの相関)への依存を排除することに貢献する。同変性は「もつれを解いた(disentangle)」表現の獲得と関係する。カメラで撮影した画像を得るという変換は撮影位置・光源情報・物体の位置といった操作に対して同変であると考えられ、これらの操作に同変な画像認識をさらに適用した結果は操作情報を覚えていることになる。人も自然界に見られる対称性の多くを、生得的に遺伝子に組み込まれた形で、あるいは実世界との相互作用の中で発見・利用する能力を持つと考えられており、対称性のあるものを美しいと感じる感覚がこの能力の獲得に役立っている可能性があると著者は述べる。世の中には人がまだ見つけていない対称性や、一部分だけ・特別な条件下でのみ成り立つ「崩れた対称性」も多く、これらをどう扱うかは今後の課題である。たとえば数字の「6」は多少の回転では6と認識してほしいが90度以上回転すると9と認識してほしく、Transformer自身は置換同変性を達成しつつ、位置符号を付け加えることで必要な位置情報(完全な対称性からの逸脱)も使えるようにしている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) ## 横断的知見 - **本ページの一般的な定式化(不変性 $\phi(x)=\phi(g(x))$・同変性 $\pi(g)(\phi(x))=\phi(g(x))$)は、[[集合の順列不変表現]]と[[GNN同変性]]がそれぞれ扱う置換群 $S_n$ に関する不変性・同変性を包含する特殊ケースとして位置づけられる**。[[集合の順列不変表現]]は集合レベルの符号化関数 $f(x_1,\ldots,x_n)=f(x_{\pi(1)},\ldots,x_{\pi(n)})$ という置換不変性を、[[GNN同変性]]はノードごとの出力が入力の置換に応じて同じように置換される置換同変性を扱う。本ページが整理する一般的な枠組みで言えば、両者はともに操作 $g$ を置換群 $S_n$ の元とした場合の具体化であり、集合レベルの出力(不変)かノードレベルの出力(同変)かという出力粒度の違いが、[[集合の順列不変表現]]が指摘する「不変性と同変性」の使い分けそのものに対応する。加えて本ページはCNN(平行移動)・RNN(時間移動)・Transformer(置換)という3つの具体例を通じて、置換対称性が対称性の一種類にすぎないことを示しており、[[集合の順列不変表現]]・[[GNN同変性]]が置換対称性に特化した議論であるのに対し、本ページはより広い対称性の分類(平行移動・時間移動・回転・鏡映・置換)の中に両者を位置づける一般理論のソースとして機能する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3, [[集合の順列不変表現]], [[GNN同変性]]) - **パラメータ共有という実装原理は、置換対称性(Transformer・GNN)と非置換対称性(CNN・RNN)の双方に共通する統一的な設計原理である**。[[GNN同変性]]は「頂点ごとのパラメータ共有」でグラフの置換同変性を達成する例を挙げるが、本ページはこれをCNNの平行移動同変性・RNNの時間移動同変性と並べることで、パラメータ共有という単一の実装技法が対称性の種類によらず不変性・同変性を実現する汎用的な手段であることを示す。これは対称性の「種類」(置換・平行移動・時間移動)と、それを実現する「実装手段」(パラメータ共有)が独立の軸であることを示唆する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3, [[GNN同変性]]) - **本ページの「変換群のもとでの不変量」という枠組みは、1961年の [[エルゴード理論]] がすでに同じ数学的語彙で扱っていた**。[[@1961__MITPress__Cybernetics - Chapter 2 Groups and Statistical Mechanics]] は、変換群 $T$ に対し $f(Tx) = \alpha(T) f(x)$ を満たす関数を「群の指標(character)」=線形不変量と呼び、群の構造のみから定まる測度(Haar 測度)を「距離的不変量」と呼ぶ。これは本ページの不変性の定式化 $\phi(x) = \phi(g(x))$ と同型の構造であり、応用領域(統計力学における時間平均・空間平均の一致 対 表現学習における汎化)を隔てて 60 年の時間差があっても、「変換群+その不変量」という抽象化そのものは共通していることを示す。ただし本ページのソースは不変性・同変性を通じてニューラルネットワークの汎化能力を論じるのに対し、Cybernetics のソースは同じ道具立てを統計力学的な平均の交換可能性の正当化に用いており、両者のあいだに直接の系譜関係があるとまでは両ソースの記述だけからは言えない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3, [[@1961__MITPress__Cybernetics - Chapter 2 Groups and Statistical Mechanics]] ch.2 pp.50-54, [[エルゴード理論]]) - **本ページが挙げる「パラメータ共有による構造的な不変性・同変性の保証」は、[[@1961__MITPress__Cybernetics - Chapter 6 Gestalt and Universals]] が提案する「群走査による逐次的な不変量抽出」([[群走査による不変量抽出]])とは対照的な達成手段を取る**。第6章は、対象の透視変換がなす群にわたって基準パターンとの一致を実際に走査・探索することで大きさ・向きに依存しない形の同一性判定を得ようとする(判定は走査というアルゴリズムの実行結果)。これに対し本ページのCNN・Transformer等は、モデル構造(フィルタの位置共有・自己注意の頂点共有)そのものに不変性・同変性を組み込み、探索を伴わない単一のフィードフォワード計算で不変な出力を得る。両者は「変換群にわたる不変性」という目標を共有しながら、1948年の提案(逐次走査)と現代の深層学習(構造的制約)とで不変性の実装原理が対照的であることを示しており、この対照は[[@1961__MITPress__Cybernetics - Chapter 2 Groups and Statistical Mechanics]] の抽象的な群測度・群の指標という道具立てが、探索(第6章)と構造的制約(現代)という二つの独立な系譜へ枝分かれしたとも読める。(Source: [[@1961__MITPress__Cybernetics - Chapter 6 Gestalt and Universals]] ch.6 pp.136-139, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3, [[群走査による不変量抽出]]) ## 未解決の問い - 世の中に存在するが人がまだ発見していない対称性を、限られた学習データから機械学習が自動的に発見・獲得する方法はあるか。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) - 完全な対称性ではなく「崩れた対称性」(一部条件下でのみ成り立つ対称性)を、対称性を保った特徴量と破った特徴量の両方を同時に持つ形でモデルに組み込む一般的な設計原理は何か。Transformerの位置符号はその一例だが、他のアーキテクチャにどう一般化できるか。 - [[集合の順列不変表現]]が指摘する「入力の順列不変性」と「出力集合の自己回帰的生成における順序の等価類」の区別は、置換以外の対称性(回転・平行移動)についても同様に「入力側の対称性」と「出力生成順序の対称性」という2つの独立な問題として現れるか。 - 回転・鏡面操作などのより一般的な対称性を導入したモデル(メッシュデータ・点群データ向け)は、CNN・RNN・Transformerが達成する基本的な対称性と比べ、どの程度追加の学習効率・汎化性能の改善をもたらすか。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] / [[@1961__MITPress__Cybernetics - Chapter 2 Groups and Statistical Mechanics]] / [[@1961__MITPress__Cybernetics - Chapter 6 Gestalt and Universals]] - concept: [[集合の順列不変表現]](置換不変性の詳細) / [[GNN同変性]](グラフの置換同変性の詳細) / [[Transformer]](置換同変な自己注意機構) / [[RNN]](時間移動同変性) / [[自己教師あり学習]] / [[エルゴード理論]](統計力学における変換群の不変量) / [[群走査による不変量抽出]](逐次走査による不変量抽出という対照的な系譜) ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.3. - Norbert Wiener, *Cybernetics: or Control and Communication in the Animal and the Machine*, 2nd ed., The MIT Press, 1961, Chapter 2(印字 pp.50–54)。 - Norbert Wiener, *Cybernetics: or Control and Communication in the Animal and the Machine*, 2nd ed., The MIT Press, 1961, Chapter 6(印字 pp.136–139)。