# LLM意味表象 ## 定義 LLM 意味表象とは、大規模言語モデルが内部に保持する意味的な埋め込みベクトル表現のことである。トークンや文章を高次元ベクトル空間に写像し、意味的に近い概念同士が近傍に位置するように学習される。本概念ページでは特に**人間の意味認知との対応・乖離**に焦点を当てて整理する。(Source: [[joisino-LLMと言葉の感じ方-2026]]) [[認知意味論]]の立場から LLM の埋め込みを分析すると、LLM はカテゴリー分類では人間と整合する一方、**典型度（プロトタイプ性）の感覚**では大きく乖離することが明らかになっている。 ## 人間との整合と乖離 ### 整合点：カテゴリー分類 LLM の埋め込み空間では、鳥類・家具・衣服などのカテゴリーが明確に分離してまとまる。この点は人間の概念カテゴリー化と整合的である。(Source: [[joisino-LLMと言葉の感じ方-2026]]) ### 乖離点：典型度（プロトタイプ性） [[プロトタイプ意味論]]の観点から、人間の典型度ランキングと LLM の埋め込みコサイン類似度ランキングを比較すると以下の結果が得られた（LeCun+ ICLR 2026, [arXiv:2505.17117](https://arxiv.org/abs/2505.17117)）: | モデル種別 | 人間との順位相関係数 | |-----------|-----------------| | word2vec（表現学習） | 0.3〜0.4 | | BERT（マスク言語モデル） | 比較的高い | | 次トークン予測モデル（GPT 系等） | **0.15 以下** | | 大規模次トークン予測モデル | モデル能力向上とともに低下する場合あり | ### 乖離点：方向非対称性 次トークン予測で訓練された LLM は順方向の予測に高度に特化した表現を学習する。GPT-4 でのテキスト再現実験: - 順方向（次の文は？）：正答率 **65.9%** - 逆方向（前の文は？）：正答率 **0.8%** 人間も一部の暗記シーケンス（アルファベット等）で同様の非対称性を示すが、人間ではその範囲が限定的なのに対し LLM ではあらゆる場面でこの現象が生じる。(Source: [[joisino-LLMと言葉の感じ方-2026]]) ## 乖離の原因 1. **コーパスの頻度バイアス**: 非典型インスタンスほど「〇〇って鳥なんだよ」のようにカテゴリー帰属を明示するテキストが多く、埋め込みがカテゴリー語に近づく。 2. **訓練目的の不整合**: 次トークン予測目的は埋め込み空間の人間整合性を副産物として保証しない。高能力モデルは人間感覚に依存しなくても予測精度を達成できるため、人間整合的な表現が「足枷」になりうる。 ## 実害と対策 ### 実害 - **言外のニュアンスの欠落**: LLM に「鳥に変身させて」と頼むとダチョウに変身させる可能性がある。プロトタイプが人間と一致していないため言外の意図を汲み取れない。 - **逆方向推論の苦手さ**: 前の文・前の単語の予測、逆順ソートなど「逆方向」のタスクで極端な性能低下。 - **ファインチューニングの限界**: 事前学習で定着した表現の歪みは後のファインチューニングで修正しにくい可能性がある。 ### 対策の方向性 - **対照学習による表現学習の導入**: Wang+ ICLR 2026 ([arXiv:2504.01928](https://arxiv.org/abs/2504.01928)) が対照学習を組み込むことで方向非対称性の緩和を提案。 - **認知意味論に基づく訓練**: LLM に「人間らしい感じ方」を教えるフレームワークとして認知意味論の活用が提案されている（探求は始まったばかり）。 ## 横断的知見 - 同著者の[[joisino-超人的AIと認知不能情報-2025]]は「AI は人間に認知できない情報を正当な分類根拠として活用している」という相補的な観点を提供する。人間と LLM の認知の「違い」は、LLM が劣っているのではなく**異なる**という観点が共通している。 - **カテゴリー分類での人間整合と、離散的な語義曖昧性解消の成功は同じ層に属する可能性がある**: 本ページの主要出典は LLM 埋め込みが鳥類・家具等のカテゴリー分類では人間と整合する一方、典型度(プロトタイプ性)の連続的な感覚では大きく乖離すると報告する。一方 [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] は非専門家向けの解説として、Transformer の各層が「Fruit flies like a banana」のような多義文に対し「flies が昆虫を指すか飛ぶ動作を指すか」という**離散的なカテゴリー選択**をメタデータ付与という形で解決する様子を紹介する。両者を突き合わせると、Transformer 層による語義曖昧性解消は本質的に「どのカテゴリーに属するか」という離散選択問題であり、これは本概念が報告する「カテゴリー分類での人間整合の高さ」と整合的である可能性がある。他方で、Chapter 12 の説明は連続的な典型度(プロトタイプ性)の扱いには触れておらず、本ページが報告する典型度の乖離(次トークン予測モデルで人間との順位相関 0.15 以下)を説明する材料にはならない。すなわち「離散的な語義選択」と「連続的な典型度判断」は Transformer 内部で異なる扱いを受けている可能性があり、これは両ソースの記述を重ねて初めて見える仮説であって、いずれのソースも明示的には主張していない。(Source: [[joisino-LLMと言葉の感じ方-2026]], [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] §12.3) ## 未解決の問い - LLM の典型度感覚を人間に近づけるコスト対効果の高いアプローチは何か。 - カテゴリー整合はあるのに典型度が乖離するという非対称性は、下流タスク（質問応答・翻訳・対話）にどの程度の影響を与えるか。 - 異なるアーキテクチャ（MoE・SSM 等）では人間との典型度整合はどう変わるか。 - 語義曖昧性解消のような離散的なカテゴリー選択と、典型度判断のような連続的な感覚とで、LLM 内部の処理機構(層・注意ヘッド)は実際に分離しているか。機構的解釈性の手法でこの仮説を検証できるか。(Source: [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]]) ## 関連 - [[認知意味論]] — LLM 意味表象を分析する上位フレームワーク - [[プロトタイプ意味論]] — 典型度の理論的基盤 - [[機構的解釈性]] — LLM 内部回路・表現の分析研究 - [[joisino-LLMと言葉の感じ方-2026]] — 本概念の主要出典 - [[joisino-超人的AIと認知不能情報-2025]] — 関連する認知の非対称性論考 - [[Yann LeCun]] — 引用研究の著者（ICLR 2026） - [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] — Transformer 層による語義曖昧性解消の非専門家向け解説 ## 出典 - [[joisino-LLMと言葉の感じ方-2026]]（佐藤竜馬、2026-03-16） - LeCun+ ICLR 2026: *From Tokens to Thoughts* ([arXiv:2505.17117](https://arxiv.org/abs/2505.17117)) - Wang+ ICLR 2026 ([arXiv:2504.01928](https://arxiv.org/abs/2504.01928)) - [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]](§12.3)