# LLMと言葉の「感じ方」 [[佐藤竜馬]]（joisino）による 2026年3月16日付けのブログ記事（ジョイジョイジョイ）。[[認知意味論]] の視点から LLM の内部表現を分析し、LLM と人間の概念の「感じ方」の相違点を論じる。謝辞で国語研の横井祥先生に認知意味論を紹介いただいたと記す。 ## 核心的主張 - LLM はカテゴリー分類（鳥は鳥、家具は家具）において人間と整合しているが、**何を典型とみなすか**では大きく乖離する。 - プロトタイプ典型度の人間ランキングと LLM 埋め込みに基づくコサイン類似度ランキングの順位相関係数は **0.15 以下**。 - テキストコーパス上の頻度バイアス（非典型語ほど「○○って鳥なんだよ」と明言される）が LLM のランキング逆転の一因。 - 次トークン予測目的の最適化は表現の人間整合性を副産物として保証しない。能力の高いモデルほど人間から乖離しうる。 - この感覚のズレは「言外のニュアンスを汲み取れない」という実害につながり、逆方向推論の極端な苦手さとも連動する。 ## 背景：認知意味論とだまし絵 [[認知意味論]]（cognitive semantics）は、言葉の意味を人間の認識・感じ方と結びつけて理解する言語学のアプローチ。ゲシュタルト心理学・認知心理学を背景に持つ。 ルビンの壺に代表されるだまし絵のように、**テキストそのものに一意な意味が内在するのではなく、受け手の認知によって意味が定義される**というのが認知意味論の基本的立場。落語『動物園』改変テキストも同じ構造を示す。 ## プロトタイプ意味論と LLM [[プロトタイプ意味論]]では、カテゴリーに典型例（プロトタイプ）と非典型例の勾配があると考える。スズメ・ウグイスは典型的な鳥で、ダチョウ・ペンギンは非典型的とされる。人間はこの典型度を言語使用に反映させる。 Yann LeCun らのグループによる ICLR 2026 論文 *From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning*（[arXiv:2505.17117](https://arxiv.org/abs/2505.17117)）がこの[[LLM意味表象]]を実証した。 ### 実験設計 1. 人間に各鳥の典型度スコアをアンケートで収集しランキング化。 2. LLM の埋め込みでカテゴリー語（"bird"）と各インスタンス（"penguin" 等）のコサイン類似度を算出しランキング化。 3. 両ランキングのスピアマン順位相関係数を計算。 ### 実験結果 - **カテゴリー分類の整合**: LLM の埋め込みは鳥類・家具・衣服などカテゴリー単位でまとまっており、人間の分類と整合。 - **典型度の乖離**: 人間ランキングと LLM ランキングの順位相関は **0.15 以下**と非常に小さい。 - **表現学習モデルとの比較**: - word2vec：0.3〜0.4 と比較的高い - BERT（表現学習モデル）：次トークン予測モデルより高い傾向 - 次トークン予測モデル（トランスフォーマー系）：モデルサイズ・能力が上がるほど人間から乖離する場合すら確認 ## 原因の考察 記事で議論されている原因仮説は 2 つ： 1. **コーパスの頻度バイアス**: 非典型的なインスタンスほど「ペンギンって鳥なんだよ」のように鳥類であることが明言されるテキストが多い。このため非典型語の埋め込みがカテゴリー語に近づく。 2. **訓練目的の不整合**: 次トークン予測の目的は埋め込みを整えることではなく、次のトークンを予測することだけ。高能力モデルは人間の感覚に依存しない「摩訶不思議な方法」でも予測精度を高められるため、人間整合的な表現が足枷になりうる。 ## 波及問題：方向非対称性 記事は[[LLM意味表象]]のズレが引き起こす問題として、GPT-4 のテキスト再現実験を引用する（先行記事 *言語モデルの物理学* より）。 - 順方向（この次の文は？）：正答率 **65.9%** - 逆方向（この前の文は？）：正答率 **0.8%** 人間も一部の暗記（アルファベット唱え等）で同様の非対称性を示すが、次トークン予測で全面的に訓練された LLM はあらゆる場面でこの現象が生じる。事前学習後のファインチューニングでの修正も困難である可能性が高く、Wang+ ICLR 2026（[arXiv:2504.01928](https://arxiv.org/abs/2504.01928)）は対照学習を導入してこの非対称性を緩和することを提案している。 ## おわりに・展望 記事は[[認知意味論]]が LLM と認知の橋渡しとなる可能性に注目して締めくくる。LLM に「人間らしい感じ方」を教えるアプローチとして認知意味論フレームワークの活用が提案されており、その探求はまだ始まったばかりとされる。 ## 関連 - [[佐藤竜馬]] — 著者 - [[認知意味論]] — 本記事の核心的フレームワーク - [[プロトタイプ意味論]] — 典型度理論 - [[LLM意味表象]] — LLM の内部埋め込みと意味的処理 - [[Yann LeCun]] — 引用論文の著者（ICLR 2026） - [[機構的解釈性]] — LLM 内部表現解析の関連分野 - [[joisino-超人的AIと認知不能情報-2025]] — 同著者の関連記事（AI と認知の境界） - [[joisino-LLMアテンションと外挿-2025]] — 同著者の関連記事（LLM 内部構造） ## 出典 - 原記事: <https://joisino.hatenablog.com/entry/cognition> - 引用論文: [From Tokens to Thoughts](https://arxiv.org/abs/2505.17117) (LeCun+ ICLR 2026) - 引用論文: [Wang+ ICLR 2026](https://arxiv.org/abs/2504.01928)（対照学習による非対称性緩和）