# 関係推論 ## 定義 関係推論とは、個々の対象の属性だけでなく、複数の対象間に成り立つ関係とその組み合わせから結論を導く処理である。たとえば「灰色の物体から最も遠い物体の形」へ答えるには、灰色の物体を同定し、他の全対象との距離を計算・比較し、選ばれた対象の属性を読む必要がある。単一対象の属性分類とは異なり、対象対の比較と全体的な集約を含む。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]]) ## ニューラルネットワークへの組み込み方 [[Relation Network]]（RN）は、関係推論を「全対象対へ共有二項関数を適用し、その結果を順序不変に集約する」計算として明示する。 $ \mathrm{RN}(O)=f_\phi\left(\sum_{i,j}g_\theta(o_i,o_j)\right) $ この形式は関係の具体的な意味を人手で定義しない一方、関係を計算すべき場所をアーキテクチャとして制約する。Sort-of-CLEVRでは、同じCNNを用いるCNN+RNとCNN+MLPが非関係質問では同水準なのに対し、関係質問ではRNが94%超、MLPが63%となった。知覚表現を強くするだけではなく、対象間相互作用の帰納バイアスが必要な場合があることを示す。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]]) ## 近縁アーキテクチャ - **[[Relation Network]]**: 完全有向グラフ上の全対象対を同じMLPで処理し、全関係を一度に加算する。グラフ構造を事前に知らなくても使えるが、全対版は$O(n^2)$である。 - **[[Relational Memory Core]]**: 固定個数の記憶スロットを自己アテンションで相互作用させ、LSTM型ゲートで時間方向へ更新する。系列をまたぐ関係を固定サイズ状態へ圧縮する。 - **[[グラフニューラルネットワーク]]**: 与えられたグラフの近傍からメッセージを集約し、層を重ねて複数ホップの関係を伝播する。RNは全対・全体集約に寄せた単純な特殊例として比較できる。 - **[[Transformer]]**: 自己アテンションにより全位置間の相互作用を計算する。固定した加算ではなく、クエリとキーから対象ごとの重みを学び、複数ヘッドで異なる関係を並列に表現する。 ## 横断的知見 - **RNと自己アテンションは「全対相互作用」を共有するが、集約の選択性が異なる**: RNは各対象対を$g_\theta$で変換して一様に加算し、質問条件は$g_\theta$の入力へ入れる。[[Transformer]]はクエリとキーの適合度をsoftmax重みとし、各位置ごとに異なる値の加重和を作る。前者は集合全体の単一表現を作る単純な関係集約、後者は問い合わせごとに参照先を変える選択的集約である。両者とも全対版の計算量は入力数の二乗であり、論文時点から不要な対・位置を制限することが共通課題だった。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] §2, §6, [[@2017__NeurIPS__Attention Is All You Need]] §3.2, Table 1) - **「対象をどう切り出すか」と「対象間をどう推論するか」は分離できるが、独立ではない**: RNはCNNの空間セルやLSTMで符号化した文を暫定的な対象として受け取り、下流の関係損失を通じて上流表現を対象らしく形成する。これは明示的な物体検出や記号化を不要にする一方、空間セル・文境界という区切りは設計者が与えている。したがって関係推論器の性能は、対象化の粒度に左右される。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] §4, §6) - **一段の全対比較は広い関係課題を解けても、多段推論の保証にはならない**: RNはCLEVRと動的物理系で高精度を示したが、bAbIのTwo Supporting FactsとThree Supporting Factsは95%基準に届かなかった。完全グラフ化で情報経路を短くしても、複数の中間事実を逐次統合する手続きを単一集約が必ず学べるわけではない。層を重ねる[[グラフニューラルネットワーク]]や反復的な注意機構との違いを評価する必要がある。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] §5.4) - **関係推論の対象は「同時に与えられた対象」から「時間をまたいで保持した記憶」へ拡張された**: [[Relation Network]]は一つの画像・状態記述・支持文集合に含まれる対象対を一括集約する。後続の[[Relational Memory Core]]は、記憶スロットを対象として自己アテンションで相互作用させ、同じ状態を次時刻へ再帰させる。両者を並べると、関係推論器の設計には「何を対象とするか」だけでなく、「関係表現を一度だけ集約するか、時間方向に反復更新するか」という軸がある。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]], [[@2026__30papers__Relational Recurrent Neural Networks]]) - **全履歴を保持する自己アテンションと固定サイズ記憶の間には、情報保持量と時間方向の計算量の交換がある**: [[Transformer]]は全位置を直接参照して情報を低圧縮で保持する一方、RMCは固定個数のスロットを更新してオンライン系列でも時刻当たりの記憶量を一定にする。RMCのWikiText-103改善は、固定サイズ化が即座に性能を失うわけではないことを示すが、言語モデル最良構成は一スロットであり、複数スロットの関係推論が原因かは未分離である。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2026__30papers__Relational Recurrent Neural Networks]] §5.4, §6) ## 未解決の問い - 全対計算を注意・疎グラフ・近傍選択で削減したとき、見落とした関係による精度低下をどのように検出・制御するか。 - 空間セルや文境界のような人手の対象化単位を使わず、対象の発見と関係推論を同時に学ぶ場合、表現が安定して意味のある対象へ分解される条件は何か。 - RNの単一集約、反復RN、メッセージパッシングGNN、自己アテンションの間で、多段・合成的推論能力を公平に分離測定するベンチマークをどう設計するか。 - CLEVR、Sort-of-CLEVR、bAbIのような合成データで得た関係推論能力は、遮蔽、曖昧な対象境界、未見の対象数を含む現実データへどこまで転移するか。 - RMCの性能向上を、記憶スロット間相互作用、複数ヘッドによる内部区画化、LSTM型ゲート、モデル容量の寄与へ因果的に分解できるか。 - 固定サイズの関係記憶は長い系列でどの関係を忘れるべきか。全履歴型アテンションとの比較で、保持すべき関係の選択誤りをどう測定するか。 ## 関連 - モデル: [[Relation Network]] / [[Relational Memory Core]] - 近縁概念: [[RNN]] / [[グラフニューラルネットワーク]] / [[Transformer]] - 原典: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] / [[@2026__30papers__Relational Recurrent Neural Networks]]