# ICLR 2024 で発表された GNN 関連の研究動向 [[佐藤竜馬]] による 2024年5月15日付けのブログ記事（ジョイジョイジョイ）。著書『グラフニューラルネットワーク』(講談社 機械学習プロフェッショナルシリーズ) が第3刷となった記念の書き下ろし。ICLR 2024 (ウィーン、5/7-5/11) で採択された GNN 関連論文 170 本 (全 2296 本中 7.4%) を代表的トピック別に概観する。 ## 核心的知見 - GNN **コア技術はかなり成熟**した一方、応用分野が急拡大しており論文数も急増 - タスクの性質やどういう説明が欲しいかによって適切な手法を選択する力量が引き続き求められる - 分子基盤モデル (Beaini+ 2024) で「今後 1-2 年で大進展」と著者は見る ## トピック別動向 ### 解釈性（14 件） GNNExplainer 以来 5 年以上ホットなトピック。GNN はベクトル NN より一般的なため解釈が一段難しく、スッキリした解決はまだ遠い。 - **GNNX-BENCH** (Kosan+ ICLR 2024) — 解釈性手法の特性・性能ベンチマーク。反実仮想説明が現実的でないグラフを生成する問題を体系的に指摘。入門サーベイとしても有益 - **GNNBoundary** (Wang+ ICLR 2024) — 決定境界付近のギリギリのグラフを生成してモデルの分類法則を解釈 - **GraphChef** (Müller+ ICLR 2024) — メッセージ伝達を決定木に蒸留して解釈 ### 同変性（14 件） 入力の対称性を保存して出力を決定するモデル性質。[[GNN同変性]] 参照。 - **SE(n)-Equivariant Networks** (Bekkers+ ICLR 2024) — 位置-方位空間での重み共有で高速化 - **メタネットワーク** (Kofinas+ ICLR 2024, Lim+ ICLR 2024) — NN パラメータを入力とするモデル。MLP のニューロン並べ替えに対する対称性を GNN の同変性で自動処理。順位相関係数 >= 0.9 でモデル性能を予測。この**ニューロン対称性は [[joisino-モデルパラメータ算術-2024]] でも取り扱われており、二記事をつなぐ共通テーマ** ### 表現能力（13 件） WL 検査 (Weisfeiler-Leman test) から部分グラフ認識可能性による分類へ移行中。 - **Beyond WL** (Zhang+ ICLR 2024) — 部分グラフ認識可能性を基準に GNN 表現能力を体系化。応用者も解釈しやすく粒度も細かい - **Counting Subgraphs** (Kanatsoulis+, Lanzinger+ ICLR 2024) — より多くの部分グラフを見分ける方法の検討 - **Graph Canonization** (Dong+ ICLR 2024) — 外部グラフアルゴリズムを前処理として活用し GNN 表現能力を補う。「全て NN に任せる派」への反動 ### 時系列データ（11 件） 技術的課題が少なく応用研究中心。医療応用 (脳波 EEG・電子カルテ EHR) が複数。仮想センシング (De Felice+ ICLR 2024) — センサー欠損値を周辺センサーから GNN で推定。 ### 分子（10 件） GNN 応用の花形。拡散モデルが主流。特筆: - **Beaini+ ICLR 2024** (MILA 等 35 名) — 1 億以上の分子からなる超巨大データセットを整備し分子基盤モデル構築を試みる。複数タスク転移に一部成功。グラフ生成モデルのデータ不足問題に大きく前進 ### タンパク質（8 件） 拡散モデルによる生成が人気 (RFDiffusion: Watson+ Nature 2023)。三次元構造のドメイン知識を組み込んだモデルが多い。 ### 頑健性（8 件） 敵対的攻撃と防御は 6 年以上の歴史。GNN はスケールアップで防御力が上がりにくく人手対応が必要。摂動多数決 (GNNCert, DRAGON ICLR 2024) と生成モデルによる正常化の組み合わせが主流。 ### 高速化関連（6 件） GNN 基本高速化は成熟。暗黙的 GNN のミニバッチ高速訓練、逆伝播不要の forward-forward アルゴリズムなどに展開。 ### 物理（6 件） Pfaff+ ICLR 2021 (傑出論文賞) をきっかけに人気。ICLR 2024 ではデータ駆動特有の利点を活かした研究が多い: RGB-D 動画からパーティクルシミュレーター学習、部分観測からの学習、メタ学習で未知物理系に汎化。 ## 関連ページ - [[グラフニューラルネットワーク]] — GNN の基礎概念 - [[GNN同変性]] — 同変性の詳細 - [[joisino-モデルパラメータ算術-2024]] — メタネットワークのニューロン対称性と接続 - [[佐藤竜馬]] — 著者