# Relational Memory Core ## 概要 Relational Memory Core（RMC）は、[[DeepMind]]が2018年に発表した[[RNN]]用の記憶モジュールである。固定個数の記憶スロットを行に持つ行列へ、[[Transformer]]由来のマルチヘッド・ドット積自己アテンションを適用し、各スロットを他のスロットと現在入力から更新する。更新結果を[[LSTM]]型の忘却・入力ゲートで過去状態と混合し、次時刻へ渡す。(Source: [[@2026__30papers__Relational Recurrent Neural Networks]]) ## 特徴 - **記憶間相互作用**: 保存した各スロットが、他の全スロットを自己アテンションで参照する。 - **固定サイズ再帰状態**: 過去表現のバッファを時間とともに増やさず、時刻ごとに同じ大きさの状態へ圧縮する。 - **入力と記憶の一体更新**: 現在入力をキー・値の候補に加え、記憶間相互作用と書き込みを同じ演算で行う。 - **パラメータ共有**: スロットごとに同じゲートとMLPを使うため、スロット数を増やしてもパラメータ数は増えない。 - **構成上の制約**: スロット間アテンションは$O(N^2)$で、スロット数・幅・ヘッド数の最適比率は課題依存である。 Nth Farthestで91%、BoxWorldで98%、WikiText-103でテスト時パープレキシティ31.6を記録し、比較したLSTM・DNC・EntNet・畳み込みモデルを主要課題で上回った。ただし言語モデルの最良構成は一つの記憶スロットしか使っておらず、改善をスロット間相互作用だけへ帰属できない。(Source: [[@2026__30papers__Relational Recurrent Neural Networks]]) ## Relation Networkとの違い [[Relation Network]]は一つの入力集合に含まれる全対象対を共有二項関数で処理し、単一の全体表現へ加算する。RMCは記憶スロットごとにクエリを持つ自己アテンションで選択的に情報を交換し、その状態を時間方向へ繰り返し更新する。前者は静的集合の全対集約、後者は固定サイズ記憶上の再帰的な関係更新に重点がある。(Source: [[@2026__30papers__Relational Recurrent Neural Networks]], [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]]) ## 関連 - 原典: [[@2026__30papers__Relational Recurrent Neural Networks]] - 概念: [[関係推論]] / [[RNN]] / [[LSTM]] - 基礎: [[Transformer]] - 先行モデル: [[Relation Network]] - 組織: [[DeepMind]]