# Neural Message Passing for Quantum Chemistry > [!abstract] 概要 > 既存の[[グラフニューラルネットワーク]]を、近傍間のメッセージ計算、ノード状態更新、グラフ全体の読み出しという共通形式へ整理し、[[メッセージパッシングニューラルネットワーク]]（MPNN）と名づけた。分子グラフから量子化学特性を予測する[[QM9]]で、メッセージ関数、長距離相互作用、読み出し、入力表現を系統的に比較する。最良の単一モデルは13特性すべてで当時の最高性能となり、11特性でDFTラベルに対する化学精度へ到達した。 ## 論文情報 - **著者**: Justin Gilmer、Samuel S. Schoenholz、Patrick F. Riley、[[Oriol Vinyals]]、George E. Dahl - **所属**: [[Google Brain]]、Google、[[DeepMind|Google DeepMind]] - **公開**: arXiv:1704.01212v2、初版2017年4月4日、改訂2017年6月12日 - **採録**: ICML 2017、PMLR 70 - **原典**: [arXiv](https://arxiv.org/abs/1704.01212) - **30papers掲載情報**: [[.raw/articles/30papers-neural-message-passing-2026-07-28.md]] ## 問題設定 量子力学から分子特性を厳密に求めることは難しく、密度汎関数理論（Density Functional Theory、DFT）のような近似計算も高価である。論文では、QM9の重原子9個の分子に対するDFT計算が単一CPUコアで約1時間かかる例を挙げ、学習済みMPNNの推論は約30万倍高速だとする。機械学習でDFT計算を近似できれば、化学・創薬・材料探索の候補評価を高速化できる。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §1, §3) ![[_attachments/30papers-neural-message-passing/fig01-mpnn-vs-dft.png]] *図1。高価なDFT計算が出す分子特性を、分子グラフ上のMPNNで近似する問題設定。* 分子は原子をノード、結合をエッジとするグラフとして表せる。望ましいモデルは、原子の列挙順を変えても同じ分子特性を返す必要がある。論文は、既存の分子グラフ畳み込み、Gated Graph Neural Network（GG-NN）、Interaction Network、Deep Tensor Neural Network、ラプラシアン型グラフ畳み込みなどを、共通のメッセージパッシング形式へ書き直した。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §1–3) ## Message Passing Neural Network 無向グラフ$G$のノード$v$に特徴$x_v$、エッジ$(v,w)$に特徴$e_{vw}$があるとする。メッセージパッシング段階では、各ノードが近傍から受け取るメッセージを合計し、状態を更新する。 $ m_v^{t+1}=\sum_{w\in N(v)}M_t(h_v^t,h_w^t,e_{vw}) $ $ h_v^{t+1}=U_t(h_v^t,m_v^{t+1}) $ $T$回の更新後、読み出し関数$R$が全ノード状態からグラフ全体の予測を作る。 $ \hat{y}=R(\{h_v^T\mid v\in G\}) $ $M_t$、$U_t$、$R$はいずれも学習可能な微分可能関数である。$R$をノード状態の置換に不変な関数にすれば、ノード番号の付け替えに左右されないグラフ特性予測になる。MPNNは単一の新規層ではなく、既存GNNを比較し、新しい変種を設計するための枠組みである。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §2) ## 検討した設計 ### メッセージ関数 - **行列積**: GG-NNと同様に、離散的なエッジ種類ごとの行列を送信元状態へ掛ける。 - **エッジネットワーク**: ベクトル値エッジ特徴$e_{vw}$をニューラルネットワーク$A$で$d\times d$行列へ写し、$M(h_v,h_w,e_{vw})=A(e_{vw})h_w$とする。連続距離を直接扱える。 - **ペアメッセージ**: 送信元、送信先、エッジ特徴をすべて関数へ渡す。ただし実験ではエッジネットワークより訓練が難しく、共同学習時の平均誤差比は3.98対1.53だった。 (Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §5.1, §8) ### 長距離相互作用 化学結合のないノード対へ仮想エッジを加える方法と、全ノードへ接続するマスターノードを置く方法を試した。マスターノードは、各ノードが毎ステップ読み書きする大域的な作業領域になる。空間情報を与えない条件では、通常のGG-NNの平均誤差比3.47に対し、仮想エッジは2.90、マスターノードは2.62、set2set読み出しは2.57へ改善した。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §5.2–5.3, §8, 表3) ### set2set読み出し 単純な和ではなく、[[集合の順列不変表現|set2set]]を使って最終ノード状態を反復的に参照する。ノードの並びに不変なまま、グラフ全体の埋め込みを作れる。最良モデルはエッジネットワーク、GRU更新、set2set読み出しを組み合わせた。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §5.3, §8) ### 複数タワー $d$次元ノード状態を$k$個の$d/k$次元表現へ分け、別々に伝播してから混合する。密グラフの1回の伝播に必要な計算量を$O(n^2d^2)$から$O(n^2d^2/k)$へ減らす設計である。$k=8$、$n=9$、$d=200$では、単一タワーより推論が約2倍速かった。平均誤差比も共同学習で1.92から1.75、特性別学習で1.53から1.37へ改善したが、エッジネットワークとの組み合わせは訓練が難しく、追加改善を得られなかった。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §5.4, §8, 表4) ![[_attachments/30papers-neural-message-passing/tables03-04-ablations.png]] *表3・4。上段は空間情報なし条件で長距離相互作用を導入した比較、下段は複数タワーによる誤差比の改善。低いほどよい。* ## QM9実験 [[QM9]]は、水素、炭素、窒素、酸素、フッ素からなる小型有機分子を収録し、最大9個の重原子を持つ。論文が使用した130,462分子を、検証10,000、テスト10,000、残りを訓練へ無作為分割した。結合エネルギー、振動、電子軌道、電子分布など13特性を個別の回帰課題として扱い、平均二乗誤差で訓練して平均絶対誤差を評価した。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §4, §7) 各モデル・特性の組み合わせについて50回の無作為ハイパーパラメータ探索を行い、3〜8回の伝播、1〜12回のset2set計算、300万更新ステップで訓練した。13特性を一つのモデルで共同学習するより、特性ごとに別モデルを訓練する方が一貫して良く、改善が最大40%に達する場合があった。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §7–8) ![[_attachments/30papers-neural-message-passing/table02-main-results.png]] *表2。既存の手設計分子表現、既存MPNN、提案変種の誤差比。誤差比1未満がDFTラベルに対する化学精度への到達を表す。* 最良の単一モデル`enn-s2s`は平均誤差比0.68で、13特性すべてにおいて比較対象を上回り、11特性で誤差比1未満となった。未到達は電子エネルギーギャップ1.60とゼロ点振動エネルギー1.27である。検証性能上位5モデルのアンサンブルは平均0.52へ改善したが、この2特性はそれぞれ1.23、1.10で依然として1を上回った。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §8, 表2) 入力表現は性能を大きく左右した。空間距離なしでは平均誤差比2.57、距離を加えると0.98、水素原子を明示ノードにすると0.68だった。一方、明示的な水素はグラフを最大29ノードへ増やし、訓練を約10倍遅くした。分子トポロジーだけの条件でもset2setモデルは5特性で化学精度へ到達したが、距離を使う最良モデルとの差は大きい。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §6, §8, 表3, 表10) ## 評価上の注意 > [!important] 「化学精度」の基準 > QM9の教師ラベル自体がDFTによる自然の近似であり、自然の真値を13特性すべてについて測定したデータセットは存在しない。論文の「化学精度」は、化学分野で定められた誤差閾値をDFTラベルとの差へ適用したものである。11/13という結果はDFT計算の再現精度であり、自然の真値に対する同精度を直接実証したものではない。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §1, §4, Appendix §10.3) 表3・4の一部実験は、DFT計算の出力である部分電荷をノード特徴として使っていた。これは実利用時に入力できない情報であり、著者らも認めている。主要な最高性能比較である表2は部分電荷を使っていないため、表2の結論には漏洩しないが、空間情報なし条件と複数タワーの数値は純粋な分子グラフ入力だけの結果ではない。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §8) QM9は最大9重原子の小分子に限られ、同じモデルがより大きな分子へ外挿できるかは未検証である。距離分布は原子数に依存し、距離を使う最良モデルは完全グラフを作るため、受信メッセージ数も分子サイズとともに増える。著者らは、より大きなグラフへの汎化と計算量削減を主要な将来課題に挙げる。(Source: [arXiv原典](https://arxiv.org/abs/1704.01212) §9) ## 関連 - 枠組み: [[メッセージパッシングニューラルネットワーク]] - 上位概念: [[グラフニューラルネットワーク]] - データセット: [[QM9]] - 対称性: [[集合の順列不変表現]] - 著者: [[Oriol Vinyals]] - 組織: [[Google Brain]] / [[DeepMind]]