# 2D位置符号化 ## 定義 2D 位置符号化(2D Positional Encoding)は [[GLM]] が [[自己回帰空白埋め]] と組み合わせて導入した位置符号化方式である。各トークンに 2 つの位置 ID を割り当てる: - **inter-position id**: 原文中の位置(マスクされたスパンの場合はマスク `[MASK]` の位置と同一) - **intra-position id**: スパン内の位置(Part A のトークンは 0、Part B のスパン内 i 番目のトークンは i) inter-position id によって生成中のスパンが原文のどこに対応するかを示し、intra-position id によってスパン内での位置情報を保つ。これにより、Part B を自己回帰生成するとき、モデルはスパンの長さを事前に知らずに済む([[GLM]] 以前の手法ではスパン長が明示的に与えられていた)。 (Source: [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]] §2.2 Multi-Task Pretraining) ## 横断的知見 - (本概念は GLM 単一ソースに依拠。RoPE・ALiBi 等の現代の位置符号化手法と比較する研究が wiki に加わったら横断的知見を積み増す) ## 未解決の問い - 2D 位置符号化と RoPE(Rotary Position Embedding)・ALiBi(Attention with Linear Biases)等の現代手法を直接比較した実験は希少。スパン生成タスクに限定した比較で 2D 位置符号化が有利か否かは未検証 - GLM-4.5 や GLM-5 等の現代の GLM 系統 MoE LLM が 2D 位置符号化を継承しているのか、それとも汎用の RoPE 系に置き換えているのかは技術報告から明確には読み取れない ## 関連 - ソース: [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]] - 概念: [[自己回帰空白埋め]] / [[スパン破壊]] / [[Transformer]] - エンティティ: [[Zhengxiao Du]] / [[Tsinghua University]] ## 出典 - [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]](§2.2 Multi-Task Pretraining、Figure 2)