# Pointer Networks > [!abstract] 概要 > [[Oriol Vinyals]]、[[Meire Fortunato]]、[[Navdeep Jaitly]]は、デコーダの出力候補が固定語彙ではなく入力中の位置である系列モデル、[[ポインターネットワーク]]を提案した。通常のアテンションが入力状態の重み付き和を作るのに対し、注意重みそのものを入力位置上の確率分布として出力する。これにより入力長とともに出力辞書が変わる選択・並べ替え・組合せ最適化問題を扱える。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## ソース情報 - **掲載元**: [30papers](https://30papers.com/papers/pointer-networks/) - **原論文**: [arXiv:1506.03134](https://arxiv.org/abs/1506.03134) - **著者**: [[Oriol Vinyals]]、[[Meire Fortunato]]、[[Navdeep Jaitly]] - **所属**: [[Google Brain]]、[[University of California, Berkeley]] - **初回公開**: 2015-06-09 - **発表**: NIPS 2015、2692–2700頁 30papersは本論文を「出力が入力位置を指し、答えが入力要素の選択または並べ替えになる問題へ適した系列モデル」と紹介し、原論文全文と用語解説を動的に掲載する。本ノートでは30papers掲載本文をarXiv最終版とGoogle Researchの書誌情報で照合した。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]; [Google Research](https://research.google/pubs/pointer-networks/)) ## 固定出力辞書の限界 標準的な系列変換(sequence-to-sequence; seq2seq)は、各デコーダステップで固定された語彙上のソフトマックスを計算する。入力列の長さ$n$が例ごとに変わり、出力が「入力の何番目を選ぶか」である場合、出力クラス数も$n$になるため、固定語彙モデルでは長さごとに別の出力層が必要になる。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) 座標を直接回帰する方法も考えられるが、予測座標が入力点のどれかと正確に一致する保証がない。ポインターネットワークは出力を入力位置へ制約するため、凸包の頂点、巡回路の都市、ログ中からコピーする語など「答えが入力の部分集合または順列」である問題の構造を保てる。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]], [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]]) ## アテンションをポインターへ変える 通常の入力アテンションは、エンコーダ状態$e_j$とデコーダ状態$d_i$からスコア$u_{ij}$を計算し、注意重み$a_{ij}$でエンコーダ状態の重み付き和を作る。 $ u_{ij}=v^\top\tanh(W_1e_j+W_2d_i),\qquad a_i=\operatorname{softmax}(u_i) $ ポインターネットワークは重み付き和を出力語彙の予測へ渡さず、$a_i$をそのまま入力位置$j$上の出力分布として使う。 $ p(C_i=j\mid C_1,\ldots,C_{i-1},P)=a_{ij} $ 前ステップで選んだ入力$P_{C_{i-1}}$を次のデコーダ入力へコピーすることで、連鎖律に沿って入力位置の系列を生成する。注意対象の数が入力長$n$なので、出力辞書も例ごとに$n$へ変わる。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ![[_attachments/30papers-pointer-networks/fig01-seq2seq.png]] 標準seq2seqは固定された出力クラスを生成するため、訓練時と推論時で出力次元を変えられない。(Source: [30papers掲載本文](https://30papers.com/papers/pointer-networks/)) ![[_attachments/30papers-pointer-networks/fig02-pointer-network.png]] ポインターネットワークでは各デコーダステップが全入力位置への注意分布を生成し、その分布から入力を直接選ぶ。出力候補数は入力長と一致する。(Source: [30papers掲載本文](https://30papers.com/papers/pointer-networks/)) 各出力ステップで$n$個の入力を参照し、出力長も$O(n)$と仮定するため、推論計算量は$O(n^2)$である。表現上は可変長を扱えるが、計算量が入力長に対して一定になるわけではない。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## 学習対象 論文は単位正方形から一様に標本化した二次元点集合を入力とし、三つの幾何学・組合せ問題を入出力例だけから学習した。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - **平面凸包**: 凸包上の点の入力添字を、最小添字から反時計回りに出力する。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - **Delaunay三角形分割**: 三角形を構成する入力添字の三つ組を出力する。三角形と頂点の順序を正規化して等価な出力系列を減らす。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - **平面巡回セールスマン問題(TSP)**: 都市を一度ずつ訪れて戻る巡回路を、入力添字の順列として出力する。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) 凸包とDelaunay三角形分割には$O(n\log n)$の厳密アルゴリズムがある。平面対称TSPはNP困難であり、$n\leq20$ではHeld–Karp法による最適解、それより大きい場合は近似アルゴリズムの解を教師データとした。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## 凸包と長さ外挿 $n=50$の凸包で、通常LSTMは完全一致精度1.9%、入力アテンション付きLSTMは38.9%、ポインターネットワークは72.6%だった。面積被覆率はポインターネットワークが99.9%であり、完全一致しない場合も外周の大部分を捉えた。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) 入力長5〜50で訓練した単一モデルは、訓練範囲内の$n=5$で92.0%、$n=10$で87.0%、$n=50$で69.6%の完全一致精度を記録した。未見の$n=100$では50.3%、$n=200$では22.1%、$n=500$では1.3%へ低下したが、$n=500$でも面積被覆率は99.2%だった。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ![[_attachments/30papers-pointer-networks/fig03-convex-hull-n500.png]] 長さ5〜50で訓練したモデルを500点へ適用した例である。完全一致精度は低いが、予測した外周は正解凸包に近い。(Source: [30papers掲載本文](https://30papers.com/papers/pointer-networks/)) ## Delaunay三角形分割 Delaunay三角形分割では、$n=5$で完全一致精度80.7%・三角形被覆率93.0%、$n=10$で22.6%・81.3%、$n=50$で0%・52.8%だった。出力全体の完全一致は入力長とともに急速に難しくなるが、部分構造の半数以上を回復できる条件もあった。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## 巡回セールスマン問題 長さ5〜20の最適解で訓練したモデルは、$n=20$で巡回路長3.88を出し、最適値3.83に近かった。未見の$n=25$では4.30、$n=30$では4.72であり、比較した最良近似法A3の4.24、4.60に近い。一方、$n=40$では5.91、$n=50$では7.66となり、A3の5.23、5.79から大きく劣化した。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) $n>20$では制約なしのデコーダが都市を重複選択したり無視したりし、少なくとも10%の例で有効な巡回路を生成できない場合があった。そのため評価ではビーム探索を有効な巡回路だけに制限した。モデル単体が組合せ制約を完全に学んだわけではない。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## 評価 ### 強み - 注意重みを出力へ再解釈する小さな変更で、入力長に依存する出力辞書を扱った点。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - 出力を入力位置へ制約し、選択・コピー・並べ替えという問題構造をアーキテクチャへ埋め込んだ点。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - 訓練時より長い入力への外挿を、凸包・TSPで定量評価した点。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ### 限界 - 入力エンコーダはLSTMであり、点集合の提示順序に性能が依存する。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - Delaunay三角形分割とTSPでは入力長が増えると精度・解品質が大きく劣化する。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) - TSP評価は有効解だけを残す制約付きビーム探索へ依存し、厳密な最適性保証を持たない。(Source: [[.raw/articles/30papers-pointer-networks-2026-07-28]]) ## 関連 - 概念: [[ポインターネットワーク]]、[[集合の順列不変表現]] - 後続研究: [[@2026__30papers__Order Matters Sequence to Sequence for Sets]] - 著者: [[Oriol Vinyals]]、[[Meire Fortunato]]、[[Navdeep Jaitly]] - 所属: [[Google Brain]]、[[University of California, Berkeley]] - 応用例: [[papers/2024__arXiv__LogPTR - Variable-Aware Log Parsing with Pointer Network|LogPTR]] ## 出典 - [[.raw/articles/30papers-pointer-networks-2026-07-28]] - [30papers: Pointer Networks](https://30papers.com/papers/pointer-networks/) - [arXiv:1506.03134](https://arxiv.org/abs/1506.03134) - [Google Research publication page](https://research.google/pubs/pointer-networks/)