# 分布仮説 ## 定義 分布仮説(distributional hypothesis)とは、単語の意味はその単語が登場する文脈によって形成される、とする仮説である。ここで文脈とは、注目している単語の周辺に位置する単語のことを指す。人間が日常生活で未知の単語の意味を文脈から推測できるのはこの仮説に基づく推測であり、生成AIモデルの学習の根幹を成す前提になっている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]] §2.1) ## 次トークン予測との関係 生成AIで広く使われる次トークン予測(next token prediction)の損失 $L(\theta)=-\sum_i \log p_\theta(t_i \mid t_{1:i-1})$ は、分布仮説をより限定した形にしたものと理解できる。すなわち「i−1番目までのトークンが与えられれば、i番目のトークンの意味は予測可能である」という主張である。例えば「素人質問で」というテキストが与えられると、それに続くトークン列は謝罪に関連するもの(「恐縮ですが」など)である可能性が高いと予測できるのは、そのようなテキストがよく使われるという分布上の知識があるからである。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]] §2.1) ## Rubenstein and Goodenough(1965)による実験的検証 分布仮説の原論文としてよく引用されるが、内容にはあまり踏み込まれてこなかった論文が Rubenstein and Goodenough, "Contextual correlates of synonymy" (1965) である。原論文が示そうとした仮説は「単語Aの文脈と単語Bの文脈に共通する単語の割合は、AとBがどれだけ意味的に類似しているかの関数である」というものであり、以下の手順で定量的に検証された。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]] §2.1) 1. Aグループ・Bグループ各24単語からテーマ単語ペア65組を作成する(表2.1)。 2. 15名・36名の被験者グループにペアの意味的類似度を[0.0, 4.0]で評価させ、グループ間相関 r=0.99 を確認したうえで51人の評価を平均し、単語A・Bの定量的な類似度とする(表2.2)。 3. 別の100名の被験者グループにテーマ単語を含む文章を作成させ、テーマ単語を含む文に登場する全単語の集合として文脈を定義する。 4. 文脈の類似度 $M_x = \mathrm{count}(A_x \cap B_x) / \min(\mathrm{count}(A_x), \mathrm{count}(B_x))$(式2.4。$x$は重複を許すtoken条件と重複排除するtype条件)を計算し、単語類似度との関係をプロットする(図2.3)。 結果は3次関数で近似され、特に単語類似度3.0以上で相関が顕著に現れた。この結果は、ある単語の文脈からその単語の意味が予測できることを定量的に示しており、分布仮説を支持する記念碑的な実験的事実である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]] §2.1) ## 横断的知見 - 本ページは現時点で単一ソース([[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]])のみに基づく。横断的比較は今後の ingest で追加する。 ## 未解決の問い - Rubenstein and Goodenough(1965)の実験は英単語65組という小規模なデータに基づくが、現代の大規模コーパスで学習された埋め込み(word2vec, BERT, GPTなど)の類似度は、この原論文の定量的な結果(表2.2)とどの程度一致するか。 - 分布仮説は単語単位で検証されたが、サブワード単位([[サブワードトークン化]])やトークン単位でも同様の仮説が成り立つか。BPEやユニグラム言語モデルで分割されたサブワードは、単語ほど明確な「意味」を持たない場合があるため、文脈による意味の予測可能性がどう変化するかは未検証である。 - 分布仮説は同じような文脈で使われるが意味が異なる語(反意語や多義語など)をどこまで区別できるか。次トークン予測の学習だけでこの区別が獲得されるかは自明ではない。 ## 関連 - [[テキスト埋め込み]] — 分布仮説に基づいてデータから学習される特徴量表現 - [[サブワードトークン化]] — 分布仮説の検証単位である「トークン」の構築方法 - [[言語モデル事前学習]] — 分布仮説を限定した次トークン予測を学習目的関数として用いる枠組み ## 出典 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]]