# 知識操作 ## 定義 知識操作（knowledge manipulation）とは、LLM が貯蔵した知識を単に取り出すだけでなく、変換・比較・逆引き・分類といった操作を行う能力のことである。[[Physics of Language Models]] の Part 3.2（"Knowledge Manipulation"、arXiv:2309.14402、ICLR 2025）で体系的に調べられた。(Source: [[joisino-言語モデルの物理学-2025]]) ## LLM における知識操作の限界 ### 訓練順序への強依存 生年月日が "October 2, 1996"（アメリカ式の月-日-年順）として記憶されている場合: - 「生まれ年は？」(→ 1996): 精度約 20%——"October 2," が入力されるまで 1996 という情報を内部状態から取り出せない。 - 「生まれ年は偶数か？」: 同様に失敗。 - 「A と B どちらが早生まれか？」: 両者の完全な生年月日を知っていても答えられない。 (Source: [[joisino-言語モデルの物理学-2025]]) ### 逆検索の非対称性 - 「人物 → 生年月日」は学習できる。 - 「生年月日 → 人物」は学習できない——「A から B が取り出せる」ならば「B から A が取り出せる」という**対称律が成立しない**。 - これは LLM が「次の」トークンを予測するために訓練されており、入力方向に逆行する推論は自然に身につかないことの帰結。 - GPT-4 の実測: ジェーン・オースティン『高慢と偏見』の次の文を問うと 65.9% 正答、前の文を問うと 0.8% 正答——事前訓練で入力が常に固定方向であるテキストに激しい非対称性が現れる。 (Source: [[joisino-言語モデルの物理学-2025]]) ### CoT は役立つが TestTime に使わないと機能しない - 思考の連鎖(CoT)を挟んだ回答形式でファインチューニングすると知識操作が可能になる。 - しかし**テスト時に CoT なしで答えを求めると失敗する**——知識操作能力が身についたわけでなく「CoT を使う方法」を学んだだけ。 - 逆検索は CoT でも解決が困難。 (Source: [[joisino-言語モデルの物理学-2025]]) ## 横断的知見 - **知識の「貯蔵」と「操作」は独立した能力**: Part 3.1 が「伝記を完全生成できても Q&A で失敗する」ことを示し、Part 3.2 がさらに「正確に抽出できる知識を操作できない」ことを示す——2 段階の独立性。(Source: [[joisino-言語モデルの物理学-2025]]) - **ウェブ訓練 LLM が知識操作を解けることがあるのは、訓練データに答えが含まれていた可能性が高い**: コントロールされた実験があってはじめてこの主張が成立する。 ## 未解決の問い - CoT 以外に知識操作を可能にする訓練設計はあるか（RAG、外部ツール呼び出し等）？ - データ増強（提示順序のシャッフル）は知識操作能力にも効くか？Part 3.1 では抽出に効いたが、操作（逆引き・比較）への効果は未検証。 - 「B から A」の逆引き能力を LLM に付与するには、どれだけの逆方向データが必要か？ ## 関連 - ソース: [[joisino-言語モデルの物理学-2025]] - 研究コンセプト: [[Physics of Language Models]] - 研究者: [[Zeyuan Allen-Zhu]] / [[Yuanzhi Li]] - 関連概念: [[知識容量スケーリング則]] / [[Chain-of-Thought Prompting]] / [[機構的解釈性]] ## 出典 - [[joisino-言語モデルの物理学-2025]]（Physics of Language Models Part 3.2）