@2026__30papers__Relational Recurrent Neural Networks

# Relational Recurrent Neural Networks > [!abstract] 概要 > 記憶の保存と検索だけでなく、保存した記憶同士を相互作用させる[[Relational Memory Core]]（RMC）を提案する。RMCは固定個数の記憶スロットへ[[Transformer]]由来のマルチヘッド・ドット積自己アテンションを適用し、その更新を[[LSTM]]型のゲートへ組み込む。記憶量を時刻とともに増やさず、系列をまたぐ[[関係推論]]を再帰状態の内部で行う設計である。 ## 論文情報 - **著者**: Adam Santoro、Ryan Faulkner、David Raposo、Jack Rae、Mike Chrzanowski、Théophane Weber、Daan Wierstra、Oriol Vinyals、Razvan Pascanu、Timothy Lillicrap - **所属**: [[DeepMind]]、University College London - **公開**: arXiv:1806.01822v2、初版2018年6月5日、改訂2018年6月28日 - **原典**: [arXiv](https://arxiv.org/abs/1806.01822) - **30papers掲載情報**: [[.raw/articles/30papers-relational-recurrent-networks-2026-07-28.md]] ## 問題設定 LSTMはすべての履歴を一つの隠れベクトルへ圧縮し、メモリ拡張ニューラルネットワークは情報を複数スロットへ分離して保存・検索する。しかし、保存後のスロット同士を明示的に関連づける帰納バイアスは弱い。論文は、時間をまたいで観測した実体の関係を比較するために、「記憶の相互作用」を保存・検索と並ぶ第三の基本操作として導入する。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §1–3) ## Relational Memory Core ![[_attachments/30papers-relational-recurrent-networks/fig01-rmc-architecture.png]] *図1。RMCは前時刻の記憶行列と現在入力を受け、記憶スロット間のマルチヘッド・ドット積アテンション、行ごとのMLP、残差接続、ゲートを経て次状態を作る。* ### 記憶スロット間の自己アテンション記憶行列$M\in\mathbb{R}^{N\times F}$の各行$m_i$を一つの記憶スロットとする。クエリ、キー、値を$Q=MW^q$、$K=MW^k$、$V=MW^v$で作り、次の自己アテンションを計算する。 $ A_\theta(M)=\operatorname{softmax}\left(\frac{MW^q(MW^k)^T}{\sqrt{d_k}}\right)MW^v $ 各行は他の全記憶スロットを参照して更新される。複数ヘッドは、異なる射影を使って記憶間の情報移動を並列に学ぶ。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §3.1) ### 新入力の書き込みと再帰化現在入力$x_t$は、キーと値を作る際に$[M;x_t]$として記憶行列へ一時的に追加する。クエリは既存の$M$だけから作るため、出力の行数は変わらない。すなわち、記憶間相互作用と新入力の取り込みを同じアテンション演算で行い、時刻が進んでも記憶サイズを固定する。アテンションが提案する更新を行ごとのMLPで処理し、LSTMに似た忘却・入力ゲートで過去のスロットと混合する。ゲートは成分単位またはスロット単位に設定できる。スロットごとに同じパラメータを共有するため、記憶スロット数を増やしてもモデルパラメータ数は増えない。ただし、アテンションの計算量はスロット数の二乗で増える。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §3.2–3.3) Transformerが過去の全表現を増大するバッファへ保持するのに対し、RMCは固定サイズの再帰状態へ逐次圧縮する。論文は、オンライン強化学習のように時刻数が無制限な状況では、過去状態のバッファをどこまで保持するかが問題になるため、両方式の混成を将来方向として挙げる。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §6) ## 実験 ### Nth Farthest 8個のベクトルを逐次入力し、「ベクトル$m$から$n$番目に遠いベクトル」を答える合成課題である。値と識別子の記憶だけでなく、基準ベクトルとの全距離を計算・順位づけする必要がある。16次元入力ではRMCが訓練終了時に一貫して91%へ達した一方、LSTMとDNCの最良バッチ精度は30%を超えなかった。32次元でも一部設定は同程度に達したが、成功する乱数種・構成が少なく、頑健性は低下した。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §4.1, §5.1) ![[_attachments/30papers-relational-recurrent-networks/fig03-attention-analysis.png]] *図3。基準ベクトルの入力後、複数スロットが基準を格納した記憶へ注意を集中する傾向を示す。ただし著者らは、一度の更新でも情報が分散するため、スロットの意味を断定できないと注意する。* ### プログラム評価 Learning to Executeの加算、制御、完全プログラムと、コピー、逆順、二重化の記憶課題で比較した。RMCの文字単位精度は順に99.9%、99.6%、79.0%、100.0%、100.0%、99.8%だった。特に完全プログラムでLSTM 66.1%、EntNet 73.4%、DNC 69.5%を上回った。二重化だけはDNC 100.0%に対してRMC 99.8%だった。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) 表1, §5.2) ### 部分観測強化学習 - **Mini Pacman**: 5×5の視野だけを与える条件で平均得点677、LSTMは550。完全観測でも1159対598だった。 - **BoxWorld**: 視野制限下で鍵と錠の関係を記憶し、妨害分岐を避ける。10億ステップ後にRMCは98%のレベルを解き、ConvLSTMは73%だった。 (Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §4.2, §5.3, Supplement A.3) ### 言語モデル ![[_attachments/30papers-relational-recurrent-networks/tables01-02-results.png]] *表1・2。上段はプログラム評価、下段は単語言語モデルのパープレキシティ。* テスト時パープレキシティはWikiText-103で31.6、Project Gutenbergで42.0、GigaWord v5で38.3となり、比較した既発表最良値33、45.5、43.7をそれぞれ下回った。相対改善は5〜12%である。WikiText-103で選んだ構成を他の2データセットでも再調整せず使用した。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) 表2, §5.4, Supplement A.4) ただし言語モデルの最良構成は記憶スロットが一つ、2500ユニット、4ヘッドだった。この条件では「スロット間」の相互作用は存在せず、ヘッドによる内部区画化や通常の注意付きゲート更新が改善へ寄与した可能性を分離できない。またGigaWordの頻出語ではRMCが改善した一方、訓練出現回数1000未満の語ではパープレキシティ$6.9\times10^4$となり、LSTM+Hebbian Softmaxの$1.6\times10^4$より悪かった。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §6, Supplement A.4, 表3) ## 評価と限界 RMCは、Transformerの自己アテンションを固定サイズの再帰状態内部へ移し、時刻をまたぐ記憶の関係計算を明示した点に意義がある。記憶スロット数とスロット幅を独立に調整でき、計算量を時間に対して一定に保てる。一方、著者ら自身が、設計要素と関係推論能力の因果関係を具体的に証明できないと明記している。Nth Farthestのアテンション可視化は設計意図と整合するが、分散表現の内部計算を確定するものではない。スロット数、スロット幅、ヘッド数の最適比率は課題依存で、言語モデルでは複数スロットを計算資源上十分に探索していない。したがって、本論文の結果はRMC全体の機能向上を示すが、「記憶スロット間相互作用だけが改善原因である」とは結論できない。(Source: [arXiv原典](https://arxiv.org/abs/1806.01822) §5.1, §6) ## 関連 - モデル: [[Relational Memory Core]] - 概念: [[関係推論]] / [[RNN]] / [[LSTM]] - 基礎となるアテンション: [[Transformer]] - 静的対象集合の先行モデル: [[Relation Network]] - 組織: [[DeepMind]]