# Order Matters: Sequence to Sequence for Sets > [!abstract] 概要 > [[Oriol Vinyals]]、[[Samy Bengio]]、[[Manjunath Kudlur]]は、順序を持たない集合を系列変換(sequence-to-sequence; seq2seq)モデルへ与えるとき、任意に選んだ入力順序と出力順序が学習性能を左右することを示した。入力集合には内容ベースアテンションを使うRead-Process-and-Writeを、出力集合には学習中に順序を探索する目的関数を提案した。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## ソース情報 - **掲載元**: [30papers](https://30papers.com/papers/order-matters/) - **原論文**: [arXiv:1511.06391](https://arxiv.org/abs/1511.06391) - **著者**: [[Oriol Vinyals]]、[[Samy Bengio]]、[[Manjunath Kudlur]] - **論文発表時の所属**: [[Google Brain]] - **arXiv初回投稿**: 2015-11-19 - **発表論文**: ICLR 2016 30papersは本論文を、入力と出力の順序がseq2seqモデルへ与える影響、および本来は集合であるデータの扱いを検討した研究として紹介し、原論文全文と用語解説を動的に掲載する。本ノートでは30papers掲載本文をarXiv最終版とGoogle Researchの公開情報で照合した。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) > [!warning] 発表年の表記差 > 30papersは年を2015とし、arXivのコメント欄には「ICLR 2015採択」とある。一方、論文PDFのヘッダーとGoogle Researchの書誌情報はICLR 2016と明記する。本ページでは初回公開年を2015、会議発表年を2016として区別する。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]; [Google Research](https://research.google/pubs/order-matters-sequence-to-sequence-for-sets/)) ## なぜ順序が問題になるか seq2seqは連鎖律を使い、入力系列をエンコーダで読み、デコーダが出力を一要素ずつ生成する。系列には自然な前後関係があるが、数の集合、画像中の物体集合、巡回路、確率変数集合には一意の順序がない。理論上、連鎖律はどの順序でも同じ同時分布を表現できるが、LSTMのパラメータ化、有限データ、非凸最適化の下では、条件付ける順序によって学習の難しさが変わる。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) 入力順序の先行例では、機械翻訳で原文を逆順にするとBLEUが5.0向上し、構文解析では入力文の逆順化でF1が0.5ポイント向上した。凸包計算では点を角度順に並べてから入力すると、問題の手続き的複雑さが下がり、難しい設定で精度が最大10ポイント向上した。順序は情報量を変えなくても、学習器へ有利な事前構造を与え得る。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## 入力集合: Read-Process-and-Write 入力が集合なら、要素を入れ替えても集合全体の表現が変わらない[[集合の順列不変表現|順列不変性]]が必要である。単純な和や平均は順列不変だが、集合サイズにかかわらず固定次元へ一度に縮約するため、要素数に応じて必要な記憶量を増やしにくい。Read-Process-and-Writeは、要素ごとのメモリと反復的な内容ベースアテンションを組み合わせてこの制約を避ける。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ![[_attachments/30papers-order-matters/fig01-read-process-write.png]] Readブロックは同じ小型ニューラルネットワークで各要素をメモリベクトルへ写像する。Processブロックは外部入力を持たないLSTMを複数ステップ動かし、クエリと各メモリの内容類似度から注意重みを計算して読み出す。メモリの並びを入れ替えると注意重みも対応して入れ替わるが、重み付き和は変わらないため、最終状態は入力順序に不変である。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) WriteブロックはProcessの最終状態を文脈として受け取り、ポインターネットワークで入力要素を一つずつ指す。出力直前に追加の注意読み出しを行うグリンプス(glimpse)も導入し、Processによる事前計算と生成途中の読み出しを補完させる。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## ソート実験 0から1までの乱数集合を昇順に並べる人工課題で、入力長10のポインターネットワーク基準モデルは、グリンプスなしで完全一致精度8%、ありで28%だった。Read-Process-and-WriteはProcessを5ステップ動かすと、それぞれ17%、57%へ向上した。処理ステップを持たない場合は基準モデルが優位だが、少なくとも1ステップの反復読み出しを許すと提案モデルが上回る傾向を示した。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ただし入力長15では最良設定でも10%にとどまる。この結果は順列不変な読取りの有効性を示す一方、2015年当時のLSTMとポインターネットワークだけで長い集合のソートを十分に一般化できたことを意味しない。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## 出力順序も学習を左右する 言語モデルでは自然順と完全な逆順がともに開発集合パープレキシティ86だったが、3語単位の不自然な並べ替えは96へ悪化した。構文木の系列化では深さ優先走査がF1 89.5%、幅優先走査が81.5%だった。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ![[_attachments/30papers-order-matters/fig02-parse-tree-orderings.png]] 同じ構文木でも深さ優先と幅優先では生成系列が異なる。どちらも木を復元できる表現だが、局所的な構文依存を連続して生成しやすい深さ優先の方が、この実験では学習しやすかった。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) 組合せ問題では一つの解に$n!$個の等価な出力順序があり得る。訓練例ごとに無作為な順序を選ぶと、モデルは同じ入力へ多くの系列へ確率を分散しなければならず、収束が遅くなる。巡回路の開始点・向きや三角形集合の辞書順を固定して等価類を狭めた先行実験では、5ポイント以上の精度向上が観測された。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) 星型グラフィカルモデルの人工実験では、他変数の親となるヘッド変数を最初に置く方が学習しやすかった。訓練データが十分多い場合、または周辺分布がほぼ決定的な場合には差が消えたため、良い順序の価値はとくにデータが少なく不確実性が高い条件で大きい。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## 学習中の出力順序探索 出力集合$Y$に対し、論文は通常の対数尤度だけでなく、候補順列$\pi(X)$の中でモデルが高い確率を与える系列化を選ぶ目的関数を提案する。 $ \theta^*=\arg\max_\theta \sum_i \max_{\pi(X_i)} \log p(Y_{\pi(X_i)}\mid X_i;\theta) $ 全順列の厳密探索は階乗時間になる。そこで最初の1000ステップは順序を一様に平均して事前学習し、その後は$p(Y_{\pi(X)}\mid X)$に比例して順序を祖先サンプリングする。これにより1回のモデル評価で候補を探索し、初期パラメータが偶然選んだ順序へ固定される問題を抑える。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) 5-gram実験では、自然順のパープレキシティ225に対し、不利な固定順は280だった。提案手順は2候補だけの条件でも$5!$通りすべてを候補とする条件でも、パープレキシティ225の良い順序を回復した。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## 評価 ### 強み - 入力集合の順列不変性と、出力集合の等価な系列化を別問題として明確に分けた点。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) - アテンションを、系列内の位置参照だけでなく、順序を持たない可変長メモリの内容参照として使った点。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) - 翻訳・言語モデル・構文解析・ソート・グラフィカルモデルを通じ、順序の影響を複数の条件で検証した点。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ### 限界 - Read-Process-and-Writeの直接評価は人工ソート課題が中心で、入力長15では完全一致精度が低い。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) - 出力順序探索は非凸最適化の下で大域的に最良な順序を保証せず、5要素の小規模実験に限られる。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) - 後年のDeep Sets、Set Transformer、順列同変GNNとの比較は年代上含まれない。(Source: [[.raw/articles/30papers-order-matters-2026-07-28]]) ## 関連 - 概念: [[集合の順列不変表現]]、[[GNN同変性]]、[[Transformer]] - 著者: [[Oriol Vinyals]]、[[Samy Bengio]]、[[Manjunath Kudlur]] - 組織: [[Google Brain]] ## 出典 - [[.raw/articles/30papers-order-matters-2026-07-28]] - [30papers: Order Matters](https://30papers.com/papers/order-matters/) - [arXiv:1511.06391](https://arxiv.org/abs/1511.06391) - [Google Research publication page](https://research.google/pubs/order-matters-sequence-to-sequence-for-sets/)