# GNN 同変性（GNN Equivariance） モデルが入力データの対称性を保存して出力を決定する性質。同変 (equivariant) なモデルでは、入力に対称変換 g を施した場合に出力にも対応する変換が適用される。不変 (invariant) はその特殊ケースで出力が変換されない場合。 ## 直観 ベンゼン（6 個の炭素が輪になった化合物）は回転対称。ベンゼン中のある炭素原子だけを正例とするモデルは対称性を破るため「同変でない」。同変なモデルでは全炭素原子の予測が揃う（全部正例 or 全部負例）。 **データ効率の向上**: 1 個の炭素に訓練ラベルを付けただけで、残り 5 個にも実質的にラベルを付けたことと同じ効果が得られる。 **明らかな間違いの防止**: 対称性が要請されるタスクで同変なモデルを使うと、物理的にありえない予測を構造的に除外できる。 ## 主な対称性の種類 | 対称性 | 記号 | 典型的な応用 | |-------|------|------------| | 置換対称性 | S_n | グラフノードの順序不変・同変 (GNN の基本) | | 回転・並進 | SE(3) / E(3) | 分子・タンパク質の三次元座標 | | 回転・並進・鏡像 | O(3) | 立体化学を考慮した分子生成 | | ニューロン並べ替え | S_d (各層) | MLP パラメータ空間の対称性 | ## ICLR 2024 の代表的研究 - **SE(n)-Equivariant Networks** (Bekkers+ ICLR 2024) — 位置-方位空間での重み共有で SE(n) 同変な高速モデルを実現 - **Kofinas+ ICLR 2024 / Lim+ ICLR 2024** — MLP のニューロン並べ替え対称性に GNN の同変性を適用したメタネットワーク。モデルパラメータを GNN の入力として処理し、順位相関係数 >= 0.9 でモデル性能を予測 ## モデルパラメータ算術との接続 MLP のニューロン並べ替えに対する**パーミュテーション対称性**は、モデルマージ (モデルスープ、タスクベクトルの合成) の障害になる。異なるモデルが同じ関数をパラメータ空間の別の対称コピーとして表現している場合、単純平均が失敗する。 - **Git Re-Basin** (Ainsworth+ ICLR 2023) — パーミュテーションを最適化して 2 つのモデルを同一基底に揃えてからマージ - **メタネットワークアプローチ** — GNN の同変性で対称性を陽に扱い、マージや予測を同変的に実行 この接続が [[joisino-ICLR-2024-GNN]] と [[joisino-モデルパラメータ算術-2024]] の共通テーマ。 ## 横断的知見 - **本ページが扱う置換対称性(グラフノードの順序不変・同変、MLPニューロンの並べ替え対称性 $S_n$/$S_d$)は、[[不変性と同変性]]が定式化する一般的な不変性 $\phi(x)=\phi(g(x))$・同変性 $\pi(g)(\phi(x))=\phi(g(x))$ の、操作 $g$ を置換群とした特殊ケースである**。[[不変性と同変性]]はCNNの平行移動同変性・RNNの時間移動同変性・GNN/Transformerの置換同変性を並べて一般理論として整理し、パラメータ共有(頂点ごとに同じ重みを使う)がこれらすべてに共通する実装原理であることを示す。本ページが挙げるSE(n)-Equivariant Networksのような回転・並進対称性(SE(3)/E(3))は、[[不変性と同変性]]が「より一般的な回転や鏡面操作に対する不変性・同変性を導入したモデル」として言及するメッシュデータ・点群データ向けアプローチの具体例にあたり、両ページは置換対称性を起点に非置換対称性へ一般化する方向で接続する。(Source: [[joisino-ICLR-2024-GNN]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) - 本ページと[[集合の順列不変表現]]は同じ置換群 $S_n$ を異なる出力粒度(集合レベルの不変 対 ノードレベルの同変)で扱う。[[不変性と同変性]]はこの「出力が集合レベルか要素レベルかで不変性・同変性が分かれる」という関係を、不変性が同変性の特殊ケース($\pi(g)=\mathrm{Id}$)であるという一般定式化で裏付ける。(Source: [[joisino-ICLR-2024-GNN]], [[集合の順列不変表現]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.3) ## 未解決の問い - SE(n)-Equivariant Networksのような連続群(回転・並進)への同変性と、本ページの主題である離散群(置換)への同変性は、実装原理(パラメータ共有 対 群畳み込み等)としてどこまで統一的に扱えるか。 ## 関連ページ - [[グラフニューラルネットワーク]] — GNN の基礎。置換対称性を本質的に持つ - [[モデルパラメータ算術]] — パーミュテーション対称性がモデルマージの障害になる文脈 - [[不変性と同変性]] — 平行移動・時間移動・置換を横断する対称性の一般理論 - [[集合の順列不変表現]] — 同じ置換群を集合レベルの不変性として扱う ## 参照ソース - [[joisino-ICLR-2024-GNN]] — ICLR 2024 GNN 同変性研究の動向 - [[joisino-モデルパラメータ算術-2024]] — パーミュテーション対称性とモデルマージ - [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] — 不変性・同変性の一般的な定式化とCNN/RNN/Transformerでの実装例