# LLM算術機構 ## 定義 LLM が四則演算（加算・減算・乗算・除算）を解く際の内部機構。Nikankin ら（ICLR 2025）が Llama3-8B を対象に分析し、ヒューリスティックニューロンによる**粗い条件判定の積み重ね**で正解トークンが浮き彫りになるという仕組みを明らかにした。厳密な計算アルゴリズムを実行しているのではなく、多数の弱い判定が協調して正解を選ぶという意味で、ヒューリスティックの束（bag of heuristics）とも呼ばれる。(Source: [[joisino-LLMのキモい算術-2025]]) ## ヒューリスティックニューロン 特定の条件（範囲・剰余クラス・パターン・オペランド一致）が成立するときのみ発火し、対応するトークン群のロジットを増加させるニューロン。条件の種類: | 種類 | 発火条件の例 | |------|-------------| | 範囲 | 評価結果 ∈ [150, 180] | | 剰余 | 評価結果 mod 10 = 8 | | パターン | 値が `1.2` のような正規表現にマッチ | | オペランド一致 | {op1} = {op2} | | 複数結果（除算のみ） | 値 ∈ {有限集合 S} | 各ニューロンが押し上げるトークン群には誤答候補も含まれるが、真の答えだけが多数のヒューリスティックに繰り返し引っかかり傑出した確率を得る。 ## 計算ミスの説明 正答時と誤答時のニューロン発火を比較すると、誤答時はヒューリスティックニューロンによる正解トークンのロジット押し上げが不足している。真の答えが他の候補トークンを十分に上回れず誤答が選ばれる。(Source: [[joisino-LLMのキモい算術-2025]]) ## 横断的知見 - [[機構的解釈性]] の研究は注意ヘッドに焦点を当てることが多いが、本機構はMLPニューロンの機能分化に着目している点で補完的な視点を提供する。(Source: [[joisino-LLMのキモい算術-2025]], [[joisino-LLMアテンションと外挿-2025]]) - 注意ヘッドが「プログラムを実行する汎用計算装置」として機能する([[joisino-LLMアテンションと外挿-2025]])一方、算術演算に関しては MLP ニューロンが粗い条件判定を分担するという役割分担が見えてくる。 - **「ヒューリスティックの束」という機構は、システム屋の視点から観察される性能の不安定さと整合する**: [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] は、1984年刊行の AI 教科書(P. H. Winston 著)が当時すでに難解な微積分の問題を解けたと紹介したのに対し、現代の LLM ベースのシステムでは基本的な算術計算でさえ手こずるように見えると指摘し、過去40年間の AI の進歩が見かけほど大したものではないかもしれないと論じる。この非専門家の観察は、Nikankin+ が明らかにした「LLM は厳密な計算アルゴリズムを実行しているのではなく、多数の弱いヒューリスティックニューロンの発火が協調して正解トークンを浮き彫りにしているにすぎない」という機構的な説明と符合する。1984年の記号処理システムが明示的な計算アルゴリズム(微積分の解法手順)を実装していたのに対し、LLM の算術は統計的なパターン照合の積み重ねであり、アーキテクチャの原理そのものが異なるために単純な計算で規則的な失敗が生じる、という解釈が両ソースを突き合わせることで得られる。(Source: [[joisino-LLMのキモい算術-2025]], [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] §12.4) ## 未解決の問い - 四則演算以外の推論タスク（論理・比較・コード生成等）でも同様の bag of heuristics が成立するか？ - より大規模なモデル（70B 以上）では同じ機構が維持されるか、それとも別の仕組みが出現するか？ - Chain-of-Thought を使う場合、ヒューリスティックニューロンの発火パターンはどう変わるか？ - ヒューリスティックニューロンを抑制・強化することで計算精度を制御できるか？ - 1980年代の記号処理型 AI(明示的アルゴリズムの実装)から現代の統計的パターン照合(bag of heuristics)への移行は、なぜ「単純な算術」という一見退行に見える性能低下を伴うのか。両者を組み合わせたハイブリッドなアーキテクチャで算術精度は改善するか。(Source: [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]]) ## 関連ページ - [[機構的解釈性]] — 分析の方法論的基盤 - [[ヒューリスティックの束]] — 本機構の命名と中心概念 - [[ロジットレンズ]] — ニューロン寄与の測定ツール - [[アテンションヘッド]] — MLP と対をなす注意機構の機能分化研究 - [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]] — システム屋の視点からの「LLM は単純な算術が苦手」という外部観察 ## 出典 - [[joisino-LLMのキモい算術-2025]] — Nikankin+ ICLR 2025 の解説記事 - [[@2026__LambdaNote__ネットワークシステムについて語るときに我々の語ること - Chapter 12 Looking Over The Fence （垣根をこえて）]](§12.4)