# A Simple Neural Network Module for Relational Reasoning > [!abstract] 概要 > [[関係推論]]をニューラルネットワークの機能形式へ組み込む[[Relation Network]]（RN）を提案する。RNはオブジェクトの全順序対へ同じ関係関数を適用し、その出力を加算して回答関数へ渡す。CNNやLSTMから得た比較的非構造な表現にも接続でき、視覚質問応答・テキスト質問応答・動的物理系という異なる領域で有効性を示した。 ## 論文情報 - **著者**: Adam Santoro、David Raposo、David G. T. Barrett、Mateusz Malinowski、Razvan Pascanu、Peter Battaglia、Timothy Lillicrap - **所属**: [[DeepMind]]、ロンドン - **公開**: arXiv:1706.01427、2017年6月5日 - **原典**: [arXiv](https://arxiv.org/abs/1706.01427) - **30papers掲載情報**: [[.raw/articles/30papers-relational-reasoning-2026-07-28.md]] ## 問題設定 CNNは局所的・並進不変な視覚処理、RNNは系列依存の処理という帰納バイアスを持つが、「複数の対象のどれが近いか」「二つの対象の属性が同じか」といった関係を明示的に計算する構造は備えていない。論文は、関係の種類を人手で与えず、入出力例から対象間の関係とその含意を学ぶための専用モジュールを設計する。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §1–2) ## Relation Network 入力をオブジェクト集合 $O=\{o_1,\ldots,o_n\}$ とすると、最も単純なRNは次式で定義される。 $ \mathrm{RN}(O)=f_\phi\left(\sum_{i,j}g_\theta(o_i,o_j)\right) $ $g_\theta$は各順序対の関係を推定する共有MLP、$f_\phi$は全関係を集約して最終出力を作るMLPである。質問応答では質問埋め込み$q$も各対へ連結し、$g_\theta(o_i,o_j,q)$とする。和による集約は入力オブジェクトの順序に不変であり、同じ$g_\theta$を全対へ共有するため、MLPが対ごとに別の関係関数を内部化する場合より関係学習を再利用しやすい。一方、全対を列挙する計算量は$O(n^2)$である。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §2) グラフとして見れば、オブジェクトをノード、考慮する順序対を有向辺とする完全グラフ上で、一度だけメッセージを計算して全体へ加算する構造に近い。関係が既知なら一部の対だけを入力でき、著者らは注意機構で不要な対を除くことを将来課題として挙げる。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §2, §6) ## 入力をオブジェクト集合へ変換する方法 ![[_attachments/30papers-relational-reasoning/fig02-architecture.png]] *Figure 2。画像はCNNの各空間セルを座標付きオブジェクトとして扱い、質問はLSTMで埋め込む。RNは質問で条件づけた全オブジェクト対の関係を計算・加算して回答する。* - **画像**: 128×128画像を4層CNNで$d\times d$の特徴マップへ変換し、各空間セルの特徴ベクトルへ相対座標を付けて一つの「オブジェクト」とみなす。物体検出ラベルは与えない。 - **状態記述**: 位置・色・形・材質・大きさを持つ各行を、そのまま一つのオブジェクトとして入力する。 - **自然言語**: bAbIでは直前の最大20文をそれぞれ同じLSTMで符号化し、各文の最終状態をオブジェクトとする。質問は別のLSTMで符号化して各文対へ連結する。 この設計は「オブジェクト」の意味を教師信号で固定せず、下流の関係推論に有用な表現を上流CNN・LSTMに形成させる。ただし、画像では空間セル、文章では文という区切りを設計者が与えているため、完全に前提なしの対象発見ではない。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §4) ## 実験結果 ### CLEVR ![[_attachments/30papers-relational-reasoning/fig03-clevr-results.png]] *Figure 3。CNN+LSTM+RNは、とくに属性比較と計数で従来モデルとの差を広げた。* ピクセル入力のCLEVRでCNN+LSTM+RNは全体95.5%を達成し、人間評価92.6%、CNN+LSTM+Stacked Attention 68.5%、著者らが再実装・最適化した同注意モデル76.6%を上回った。内訳はCount 90.1%、Exist 97.8%、Compare Numbers 93.6%、Query Attribute 97.9%、Compare Attribute 97.1%である。状態記述を直接入力した場合も96.4%だった。なお、機能プログラムという追加教師信号を用いる別研究の96.9%とは条件が異なる。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) Table 1, §5.1–5.2) ### Sort-of-CLEVR ![[_attachments/30papers-relational-reasoning/fig04-sort-of-clevr.png]] *Figure 4。非関係質問ではCNN+RNとCNN+MLPが同等だが、距離比較や個数比較を含む関係質問ではRNの差が大きい。* 6個の色付き図形と固定長の質問からなるSort-of-CLEVRでは、CNN+RNが関係・非関係質問の双方で94%超を達成した。CNN+MLPは非関係質問では同水準だが、関係質問では63%で頭打ちとなり、closest-to / furthest-fromでは52.3%だった。知覚器の性能差ではなく、全対象間の距離を比較する関係計算の有無を分離して示す対照実験である。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §3.2, §5.3, Figure 4) ### bAbIと動的物理系 - **bAbI**: 20タスクを同時訓練し、成功基準95%を18/20で満たした。失敗はTwo Supporting Facts（基準から3.1ポイント不足）とThree Supporting Facts（11.5ポイント不足）である。Basic Inductionの誤り率2.1%はSparse DNC 54%、DNC 55.1%、EntNet 52.1%より大幅に低かった。 - **動的物理系**: 10個の球の16フレーム分の位置と色から、見えないばね・剛体接続を推定する。全接続の正解率はシーン単位で93%、連結した系の個数は95%。同程度のパラメータ数を持つMLPは両課題で偶然水準を超えなかった。 (Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §5.4–5.5) ## 評価と限界 RNの貢献は、関係の種類を記号的に与える代わりに、「同じ二項関数をすべての対象対へ適用し、順序不変に集約する」という帰納バイアスだけを与えた点にある。知覚・言語処理と関係推論を分離しつつ、全体をエンドツーエンドで学習できる。 一方、全対計算は対象数に対して二乗で増える。CLEVRとSort-of-CLEVRは合成画像、bAbIは合成文章であり、現実世界の曖昧な対象分割や大規模な対象集合で同じ性能を保証しない。CLEVRの失敗例は、強い遮蔽や高精度な位置表現を要する質問へ偏る。またbAbIでは複数の支持事実を必要とする2タスクが未達であり、単一の全対集約だけで任意の多段推論を解決したわけではない。(Source: [arXiv原典](https://arxiv.org/abs/1706.01427) §5.4, §6, Supplement B) ## 関連 - モデル: [[Relation Network]] - 概念: [[関係推論]] - 構造上の近縁: [[グラフニューラルネットワーク]] - 全対相互作用と二乗計算量の比較対象: [[Transformer]] - 所属: [[DeepMind]]