# LLM能力スパース性 ## 定義 LLM 能力スパース性とは、大規模言語モデルが非常に高度なタスク(流体力学シミュレーション、低レイヤープログラミング等)をこなせる一方で、人間からすれば自明に思える単純な問題(数文字の二進文字列の偶奇判定、2 桁同士の掛け算等)で誤答するという、能力分布のちぐはぐさ・不均一性を指す概念である。この「穴」の分布はランダムではなく構造を持つ場合があり、その構造を測定することが [[ゼロエラー境界]] の動機である。(Source: [[joisino-LLMの能力の穴-2026]]) ## 横断的知見 - **能力スパース性は信頼性問題の本質である**: GPT-5.2 が 127×82 の掛け算を誤ったり、`((((())))))` のカッコが均衡していると判断したりする例は、複雑タスクのサブタスクとして基本演算が登場したとき誤りが伝播することを示す。[[LLMアプリケーション信頼性]] では LLM 展開の中心的課題として位置づけられる。(Source: [[joisino-LLMの能力の穴-2026]]) - **能力の「穴」は解釈性研究と接続する**: [[アテンションヘッド]] や [[機構的解釈性]] の研究は LLM が様々な方法で推論問題を解いていることを示しており(佐藤竜馬の別記事「LLMのキモい算術」・「LLMのアテンションと外挿」も指摘)、暗記や堅牢でない方法で問題を解いていると「穴」が多くなり ZEH が低下する。(Source: [[joisino-LLMの能力の穴-2026]]) - **CoT(Chain-of-Thought)は穴を塞がない**: GPT-5.2-Thinking(思考の連鎖を許可)もカッコ均衡リミッター `((((())))))` で誤答する。ツール呼び出しを許可されていても自力で計算してミスする事例があり、[[Chain-of-Thought Prompting]] の適用だけでは能力スパース性は解消されない。(Source: [[joisino-LLMの能力の穴-2026]]) ## 未解決の問い - 能力の「穴」はモデル規模(パラメータ数)に対してどう変化するか？大きいモデルほど穴が少ないか？ - ファインチューニング・RLHF・蒸留は能力スパース性を増大させるか減少させるか？ - 能力スパース性の構造(どの問題サイズ・どのタスクで穴があるか)は異なるモデル間で共通性があるか？ - [[機構的解釈性]] の回路レベル解析で、能力スパース性の内部メカニズムを特定できるか？ - ツール呼び出しの適切な判断自体も能力スパース性に含まれるか？その測定方法は？ ## 関連 - [[ゼロエラー境界]] — 能力スパース性を定量化する指標 - [[LLM評価]] — 能力スパース性を既存評価手法との比較で捉える - [[LLMアプリケーション信頼性]] — 信頼性が求められる本番環境での影響 - [[機構的解釈性]] — 内部回路の観点からの能力分析 - [[Chain-of-Thought Prompting]] — CoT が穴を塞がない事例との接続 ## 出典 - [[joisino-LLMの能力の穴-2026]] — 佐藤竜馬、2026-01-26