メモリ拡張ニューラルネットワーク

# メモリ拡張ニューラルネットワーク ## 定義メモリ拡張ニューラルネットワーク（Memory-Augmented Neural Network; MANN）は、ニューラルネットワークのコントローラと、実行時に読み書きできるアドレス可能なメモリを分離したモデル群である。[[Neural Turing Machine]]では、読み出し・消去・追加・アドレス指定を微分可能な注意重みとして表し、メモリ操作を含む系全体を勾配降下法で学習する。(Source: [[@2026__30papers__Neural Turing Machines]]) ## 中核設計 ### コントローラとメモリの分離コントローラは入力から出力とメモリ操作命令を生成する。外部メモリは、モデルパラメータとは別の実行時状態を保持する。NTMではメモリ位置数を増やしてもコントローラのパラメータ数は増えず、固定次元の隠れ状態だけへ全履歴を圧縮する必要を緩和する。(Source: [[@2026__30papers__Neural Turing Machines]]) ### 微分可能なアドレス指定 NTMは、保存内容との類似度で探す内容アドレス指定と、直前の参照位置から相対移動する位置アドレス指定を組み合わせる。前者は連想検索、後者は配列の走査や連続領域へのアクセスに向く。離散的な一位置の選択を確率重みへ緩和することで学習可能になる一方、長い操作列では焦点がぼやける可能性がある。(Source: [[@2026__30papers__Neural Turing Machines]]) ### 学習されたメモリ操作コピー課題では、入力を連続位置へ書き、開始位置へ戻り、同じ順序で読む操作が学習された。連想想起では、項目の圧縮表現を内容検索し、位置を一つずらして後続項目を取得した。学習結果は出力精度だけでなく、読み書き重みを観察して操作手順を解釈できる。(Source: [[@2026__30papers__Neural Turing Machines]]) ## 横断的知見 - [[LSTM]]は固定次元のセル状態をゲートで保持・更新するのに対し、[[Neural Turing Machine]]は同じ消去・追加の発想を外部メモリの任意位置へ拡張する。両者は加法的状態更新を共有するが、NTMは記憶容量とコントローラのパラメータ数を分離し、長い系列を固定次元状態へ圧縮する制約を緩めた。(Source: [[@2026__30papers__Understanding LSTM Networks]], [[@2026__30papers__Neural Turing Machines]]) - NTMと現代の[[エージェントメモリ]]は、計算主体とメモリを分離する点では共通する。一方、NTMのメモリはエピソード開始時にリセットされる潜在行列で、微分可能な注意により訓練と実行を一体化する。現代のエージェントメモリはトークン・グラフ・ベクトルストアなどを使い、複数対話にわたる形成・更新・検索を離散的な処理として扱う。外部メモリという共通構想が、短期アルゴリズム実行から長期経験管理へ拡張されたと整理できる。(Source: [[@2026__30papers__Neural Turing Machines]], [[@2025__arXiv__Memory in the Age of AI Agents]]) - NTMの注意は、可変内容を持つメモリへ逐次的に読み書きする操作である。Transformerの自己アテンションは、各層で入力表現間の関係を計算するが、その原型では別個の永続的な書き込みメモリを持たない。両者は「参照先を連続重みで選ぶ」原理を共有しつつ、NTMは状態変更、Transformerは表現変換を主目的とする。(Source: [[@2026__30papers__Neural Turing Machines]], [[@2017__NeurIPS__Attention Is All You Need]]) ## 未解決の問い - ソフトなアドレス指定で、長いアルゴリズムを実行しても誤差が累積しない離散的な操作をどう学習するか。 - 訓練時と異なるメモリ容量・系列長・操作回数へ、内容と位置のアドレス指定をどこまで外挿できるか。 - 微分可能な潜在メモリと、現代の検索・グラフ・ファイル型エージェントメモリを統一する設計は可能か。 - 読み書き重みから推定した「学習済みアルゴリズム」が、入力分布を変えても同じ手続きとして維持されることをどう検証するか。 ## 関連 - 原典: [[@2026__30papers__Neural Turing Machines]] - モデル: [[Neural Turing Machine]] - 内部記憶: [[LSTM]] / [[RNN]] - 長期記憶: [[エージェントメモリ]] - 注意機構: [[@2017__NeurIPS__Attention Is All You Need]] ## 出典 - [[@2026__30papers__Neural Turing Machines]] - [[@2026__30papers__Understanding LSTM Networks]] - [[@2025__arXiv__Memory in the Age of AI Agents]] - [[@2017__NeurIPS__Attention Is All You Need]]