## 定義 位置埋め込みは、Transformer のようにトークンを並列に処理し再帰・畳み込みを持たないモデルへ、系列中のトークンの順序情報を注入する仕組みである。原論文は正弦波・余弦波を用いた位置埋め込みを提案し、$PE_{p,2i}=\sin(p/10000^{2i/d_{model}})$、$PE_{p,2i+1}=\cos(p/10000^{2i/d_{model}})$ で定義する。ここで $p$ はトークンの位置(1始まり)、$d_{model}$ は埋め込み次元、$i$ は特徴量ベクトルの要素番号(0始まり)である。この特徴量はトークンの埋め込みに加算され、学習を必要とせずに位置情報を与える。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]]) ## 原論文の定式化 - 波長は列(特徴量の要素番号 $i$)ごとに異なり、$i$ が小さいほど振動が速く隣接する位置の区別がつきにくい一方、$i$ が大きいほど振動が遅く区別がつきやすくなる。原論文が採用する 10,000 という波長パラメーターは、$d_{model}=512$ を踏まえて設定された値である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.2) - 位置埋め込みとトークン埋め込みは $h_p=\sqrt{d_{model}}\,e_{t_p}+PE_p$ の形で足し合わされる。$\sqrt{d_{model}}$ を掛ける理由は原論文 3.4 節に簡潔な記述があるのみだが、$|PE_p|^2=d_{model}/2$ であることから、トークン埋め込みと位置埋め込みのノルムを同程度のスケールに揃える調整だと推測できる。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.2, 式3.4) - 原論文は embedding ではなく encoding という語を使っており、学習の必要性の有無に応じて表現を使い分けている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.2) ## 横断的知見 - **PE の相対位置表現能力は両ソースとも「仮説」として慎重に扱われている**: 既存 wiki の原論文 source ページは学習可能な位置埋め込みとの比較実験(表3行E)についてこの三角関数版が「相対位置による参照の学習を容易にすると仮説されている」と記す。本書も同じ性質を「PEp+kがPEpの線型結合で表現できるため相対的な位置関係をモデルが把握しやすくなると期待できる」と表現し、断定を避けている。両ソースを並べると、この性質は原論文自身が数理的に証明したものではなく、線型結合で書けるという代数的事実からの期待にとどまることが分かる。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.2) - **学習可能な位置埋め込みとの同等性能という実験事実は両ソースで一致するが、採用理由の強調点が異なる**: 原論文 source ページは「訓練時に遭遇しない長さへの外挿可能性を考慮して正弦波版が採用された」と外挿性を採用理由として明示する。本書は表3.17の解説で同じ実験結果(ほぼ同性能)に触れつつ、「学習の必要がなく位置情報をうまく扱える」という効率の観点を採用理由として強調しており、外挿可能性への言及は本章では相対的に薄い。同じ実験事実でも、どちらのソースを読むかで採用理由の力点(外挿性 対 効率性)が変わって見える。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.6) - **トークン埋め込みへの $\sqrt{d_{model}}$ 乗算は、原論文 source ページの記述だけでは根拠が閉じない**: 原論文 source ページの「位置エンコーディング」節はこのスケーリングに触れていない。本書は原論文 3.4 節の一文(埋め込み層で $\sqrt{d_{model}}$ の重みを掛ける)を手がかりに、公式実装(tensorflow/models の transformer.py・embedding_layer.py・model_utils.py)まで遡って確認し、位置埋め込みとトークン埋め込みのノルムを揃える調整だろうと結論している。原論文の記述に対して本書が一次情報(公式実装)への遡及で読み解きを補っている例である。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.2) ## 未解決の問い - 波長パラメーター 10,000 は $d_{model}=512$ を踏まえて設定されたとされるが、具体的にどのような基準(グリッドサーチか経験則か)で選ばれたのかは両ソースとも明らかにしていない。 - 正弦波位置埋め込みと学習可能な位置埋め込みがほぼ同性能であるという実験事実に対し、外挿可能性以外にどちらを選ぶべきかを分ける実験的根拠はあるか。 - 本書は「2025年4月時点のデファクトスタンダードになっている位置埋め込み手法は7.2.1項で扱う」と第7章への接続を予告している。第7章でこの相対位置表現・RoPE 系の手法がどう位置づけられるかは、当該章のソースが ingest された時点で本ページに積み増す。 - $\sqrt{d_{model}}$ によるノルム調整という本書の推測は公式実装コードからの傍証にとどまり、原論文自身がこの調整の意図を明言していない。この解釈は他の独立実装(PyTorch 公式チュートリアル等)でも支持されるか。 ## 関連 - [[Transformer]] — 位置埋め込みを構成要素として含むアーキテクチャ全体 - [[注意機構]] — 位置埋め込みが順序情報を補う対象となる、順序不変な演算 - [[2D位置符号化]] — 別モダリティ(画像等)向けの位置符号化。本ページの1次元系列向け位置埋め込みとは異なる概念であり統合しない - [[@2017__NeurIPS__Attention Is All You Need]] — 位置埋め込みの原論文 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] — 原論文の位置埋め込みを数式・公式実装まで読み解いた章 ## 出典 - [[@2017__NeurIPS__Attention Is All You Need]] - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第3章 §3.2.