ポインターネットワーク - yuuk1's Digital Garden

# ポインターネットワーク ## 定義ポインターネットワーク(Pointer Network; Ptr-Net)は、各デコーダステップで固定語彙の記号ではなく、入力系列中の位置を出力する系列モデルである。内容ベースアテンションのスコアを入力位置上のソフトマックス分布として直接使うため、入力長に合わせて出力候補数を変えられる。(Source: [[@2026__30papers__Pointer Networks]]) ## 出力分布エンコーダ状態$e_j$とデコーダ状態$d_i$から注意スコア$u_{ij}$を計算する。 $ u_{ij}=v^\top\tanh(W_1e_j+W_2d_i) $ 通常のアテンションは$\operatorname{softmax}(u_i)$で重み付き文脈ベクトルを作る。ポインターネットワークは同じ分布を$p(C_i=j\mid C_{<i},P)$として解釈し、入力$j$を出力する。前回選んだ入力要素を次のデコーダ入力にすることで、入力位置の系列を自己回帰的に生成する。(Source: [[@2026__30papers__Pointer Networks]]) ## 帰納的バイアス出力を入力位置へ限定すると、座標回帰や自由語彙生成と異なり、予測が入力要素のいずれかに正確に対応する。入力要素の選択、部分集合の列挙、コピー、順列生成という制約をアーキテクチャへ埋め込む設計である。(Source: [[@2026__30papers__Pointer Networks]]) この制約は凸包・Delaunay三角形分割・TSPのような組合せ問題だけでなく、後年のLogPTRがログメッセージ中の単語をコピーして静的部分・動的変数を抽出する用途にも使われた。(Source: [[@2026__30papers__Pointer Networks]], [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]]) ## 計算量と外挿出力長が$O(n)$で、各ステップが$n$個の入力へ注意を向けるため、推論計算量は$O(n^2)$である。出力層の形状は可変長でも、訓練時より長い入力への精度は保証されない。凸包では長さ5〜50の訓練から500点へ外挿して面積被覆率99.2%を保った一方、完全一致精度は1.3%まで落ちた。TSPでも$n=30$までは比較的良好だが、40以上で巡回路品質が大きく劣化した。(Source: [[@2026__30papers__Pointer Networks]]) ## 集合入力との関係原論文のエンコーダはLSTMであり、入力点の提示順序に性能が依存する。後続のOrder Mattersは、ポインターネットワークをWriteブロックとして残し、Read・Processブロックを内容ベースアテンションによる[[集合の順列不変表現]]へ置き換えた。ポインター復号と順列不変な集合符号化は独立に組み合わせられる。(Source: [[@2026__30papers__Pointer Networks]], [[@2026__30papers__Order Matters Sequence to Sequence for Sets]]) ## 横断的知見 - Pointer Networksはアテンション分布を入力位置上の出力カテゴリとして使い、Transformerはアテンション分布でValue表現を混合する。両者は同じ「クエリと入力の関連度分布」を、離散選択と表現集約という異なる意味へ割り当てている。アテンションは単なる文脈混合ではなく、出力空間そのものを入力依存に定義できる。(Source: [[@2026__30papers__Pointer Networks]], [[@2017__NeurIPS__Attention Is All You Need]]) - Pointer Networks原論文は凸包で入力順序依存を観測し、後続のOrder Mattersはその弱点を順列不変なRead-Processブロックで分離して改善した。二論文を合わせると、集合から系列へのモデルは「入力集合の対称性」と「出力の入力参照制約」を別々の構成要素として設計できる。(Source: [[@2026__30papers__Pointer Networks]], [[@2026__30papers__Order Matters Sequence to Sequence for Sets]]) - 原論文が幾何学的な入力点の選択・並べ替えを扱ったのに対し、LogPTRは同じポインター機構をログ中の語のコピーへ転用した。入力位置への離散参照という帰納的バイアスは、組合せ最適化と構造化テキスト抽出を横断する。(Source: [[@2026__30papers__Pointer Networks]], [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]]) ## 未解決の問い - ポインター出力の一意性、被覆、巡回路の有効性など、問題固有の組合せ制約を学習と探索へどう統合すべきか。 - 訓練長を超える外挿性能は、エンコーダ、注意スコア、探索手順、教師データのどの要因で決まるか。 - 入力位置を一つ選ぶハードなポインターと、複数入力を混合するソフトアテンションを、同一デコーダ内でどう使い分けるべきか。 - Transformer系エンコーダと順列不変な集合エンコーダでは、同じポインター復号器の長さ外挿特性がどう変わるか。 ## 関連 - 原論文: [[@2026__30papers__Pointer Networks]] - 集合入力への拡張: [[@2026__30papers__Order Matters Sequence to Sequence for Sets]]、[[集合の順列不変表現]] - アテンション: [[Transformer]] - 応用例: [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]] - 著者: [[Oriol Vinyals]]、[[Meire Fortunato]]、[[Navdeep Jaitly]] ## 出典 - [[@2026__30papers__Pointer Networks]] - [[@2026__30papers__Order Matters Sequence to Sequence for Sets]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]]