文脈内学習 - yuuk1's Digital Garden

# 文脈内学習 ## 定義文脈内学習（in-context learning）は、言語モデルが推論時にプロンプト中に提示された少数の入出力例示からタスクのパターンを読み取り、パラメータ更新なしにそのタスクを遂行する能力である。GPT-3 論文では、少数ショット（K 個の例示）、ワンショット（K=1）、ゼロショット（タスク記述のみ）の 3 条件に体系化された。著者らは、言語モデルを外側ループの勾配降下による遅い学習と、コンテキスト活性化内の速い「文脈内」学習を組み合わせたメタ学習器として理解できると提案している。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 横断的知見 - GPT-2 がゼロショット転移を実証し（[[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]）、GPT-3 が少数ショットの文脈内学習に拡張した（[[@2020__NeurIPS__Language Models are Few-Shot Learners]]）。文脈内学習の能力はモデル規模とともに滑らかに改善し、十分な規模（175B）で初めて微調整 SOTA に匹敵する性能に到達する。この進展は「事前学習＋微調整」パラダイム（[[言語モデル事前学習]]）から「事前学習のみ」パラダイムへの移行を裏付ける。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - 文脈内学習を例示の「出力」へ拡張すると「推論」が引き出せる: [[Chain-of-Thought Prompting]] は、プロンプト例示に中間推論ステップを追加する([[文脈内学習]]の出力拡張)だけで、標準プロンプティングでは改善しない算術・常識・記号推論タスクに新たなスケーリング曲線を出現させた。ただし ~100B パラメータ以上の大規模モデルでのみ有効であり、「文脈内学習の能力はモデルスケールとともに改善する」という既知の知見と一致しつつ、創発の閾値が推論タスクで特に高いことを示す。(Source: [[@2022__NeurIPS__Chain-of-Thought Prompting Elicits Reasoning in Large Language Models]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - **推論スタイル(帰納 vs 外挿ショートカット)はモデル規模に勝る**。TimeReasoner の TSF 実験から、観察重視の帰納的推論を行う LLM が線形外挿ショートカットに頼る LLM を上回ることが示された。GPT-5-Thinking は他のスロー思考モデルより大きいが、ヒューリスティック外挿への依存で期待を下回る。文脈内学習における「どう推論するか」がモデル規模の「どれだけ推論できるか」を凌駕する例で、ICL の有効性がプロンプトでの推論型誘導に強く依存することを示す (Source: [[@2025__KDD__Can Slow-thinking LLMs Reason Over Time - Empirical Studies in Time Series Forecasting]])。 - **時系列入力への ICL は「テキスト変換」を介すると知覚ボトルネックを生む**。Chow+ は時系列をテキスト化して LLM に入力するアプローチが知覚段階で情報損失を起こすと指摘し、軽量パッチエンコーダ + LoRA で 7B モデルが GPT-4o をゼロショット分類で上回ることを示した。ICL の限界はモデル能力ではなく入力表現の選択にある場合がある (Source: [[@2024__arXiv__Towards Time-Series Reasoning with LLMs]])。 - **コールドスタート CoT が RL の事前注入として機能する**。Time-R1 は少数の CoT フォーマット例で推論の型を定着させてから RL に移行する二段階戦略を採用した。これは ICL を「ファインチューニング前の方向づけ」として使う新しい用法で、純粋な推論時 ICL を超えて訓練パイプライン内に組み込まれる ICL の発展形態 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **AIOps 領域への適応的 ICL の応用で、例示の意味的関連性が量より効くことが実証された**: [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]](AIM)は、アラート要約・RCA・緩和計画生成というマルチモーダル(ログ・メトリクス・トレース・アラート)タスクに ICL を適用し、Sentence Transformer エンコーダとコサイン類似度検索で履歴インシデントから意味的に関連する上位 k 件の例示を動的に取得する adaptive ICL を提案した。fixed prompt(k=10)に対し adaptive prompt(k=5)は約 55% 少ないトークンで同等以上の ROUGE・コサイン類似度を達成し、「例示数を増やすより、意味的に関連した少数の例示を選ぶ方が効く」という、GPT-3 論文の「最適な例示選択戦略は未探索」という問い([[@2020__NeurIPS__Language Models are Few-Shot Learners]])に対する AIOps ドメインでの一つの実証的回答を与えた。(Source: [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]] Table 1, §4.4.2) - **サンプリング温度と ICL の相互作用は、モデルの instruction-tuning 度合いによって非対称に効く**: AIM の温度アブレーション(k=10 固定)では、DeepSeek-V3・LLaMA-3-70B が温度 0.3 でコサイン類似度・ROUGE ともに明確な改善(+0.4〜3%)を示す一方、GPT-4o は低温域全般で相対的に安定し改善幅がわずかであった。これは、文脈内学習の効果が「モデル規模」だけでなく「instruction-tuning の程度」にも依存するという観察であり、[[文脈内学習]] の既存知見(推論スタイルがモデル規模を凌駕する、cf. TimeReasoner)に、第三の変数(サンプリング温度とファインチューニング状態の相互作用)を加える。(Source: [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]] §4.4.1, Figure 3) - **ドメイン固有のシンボリック信号を ICL プロンプトに明示的に埋め込むと、意味理解の精度が有意に向上する**: AIM はルールベースの KPI しきい値表現(パーセンタイル分類による重大度)をプロンプトに含めるかどうかを比較し、含めた場合に全モデル・データセットで ROUGE-L・コサイン類似度が一貫して向上する(最大 +40.76%)ことを示した。これは、文脈内学習の「例示」だけでなく「シンボリックなドメイン信号の明示的な埋め込み」もまた、LLM の推論をシステム意味論に係留する要因になり得ることを示す、AIOps ドメイン特有の知見である。(Source: [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]] Table 2, §4.4.2) - **文脈内学習は線形注意の範囲で「ファインチューニングと双対」であることが理論的に示されている**。『原論文から解き明かす生成AI』第4章が読み解く Dai et al.(2022, Why Can GPT Learn In-Context?)は、勾配降下法で学習される線形層が線形注意と双対な関係(式 4.12〜4.14)を持つことを示し、これを Transformer の文脈内学習に適用すると、例示部分の寄与 $\Delta W_{ICL} = \sum_i (W_{value}x'_i)\otimes(W_{key}x'_i)^T$ がファインチューニングの重み更新 $\Delta W_{FT}$ と同じ形になることを導く(式 4.17〜4.18)。両者は「学習に用いる情報が同じで同じ因果順序」「注意機構における処理に焦点が当たる」点で一致し、文脈内学習は順伝播での暗黙的な勾配降下、ファインチューニングは逆伝播での明示的な勾配降下という双対関係にある。これは、joisino のカーネル法による「文脈内学習は RNN 状態更新である」という定式化(横断的知見の既存項目)とは異なる数学的経路(線形注意とファインチューニングの双対性)から、「文脈内学習はモデル内部で暗黙的な重み更新に相当する演算をしている」という同じ結論に到達しており、GPT-3 論文が投げかけた「文脈内学習はベイズ推論の近似か、暗黙的な勾配降下か」という問い(下記未解決の問いを参照)に対し、少なくとも線形注意近似の範囲では「暗黙的な勾配降下である」という側の証拠を積み増す。ただしこれは softmax とスケール因子を除いた線形注意近似での議論であり、実際の(softmax を伴う)自己注意への一般化は未検証である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.3.1, [[joisino-トランスフォーマーはRNN-2024]]) - **GPT-1→GPT-2 で示された「例示付き翻訳」がGPT-3で正式にメタ学習として定式化された**。GPT-2 論文([[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]])は要約タスクで "TL;DR:" という区切りトークン、翻訳タスクで (英語)=(フランス語) の例示を入力に含める手法を既に示していたが、これはタスク定式化の一工夫として提示されるにとどまった。GPT-3 論文はこれを一般化し、outer loop(事前学習、勾配降下法)と inner loop(推論時の文脈内学習、重み更新なし)というメタ学習の二重構造として明示的に理論づけ、ゼロショット・ワンショット・少数ショットという体系的な分類を与えた。『原論文から解き明かす生成AI』第4章はこの系譜を「4.2.1 項で扱う文脈内学習の萌芽」と明示的に位置づけている。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.2, §4.2.1) ## 未解決の問い - 文脈内学習はベイズ推論の近似か、単なるパターンマッチングか。モデルのコンテキスト活性化内で暗黙的な勾配降下が行われているのか。**Dai et al.(2022)は線形注意近似の範囲でこれに部分的な回答を与えた(横断的知見を参照)が、softmax を伴う実際の自己注意への一般化と、非線形性を含めた場合に双対性がどこまで成立するかは未解決である。**(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.3.1) - 例示の順序・選択が性能に与える影響の体系的理解。GPT-3 ではランダムサンプリングされた例示を使用しているが、最適な例示選択戦略は未探索である。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - 2 つのテキスト断片の比較を伴うタスク（WiC、RTE 等）で文脈内学習が体系的に弱い原因の解明。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - コンテキスト窓サイズ（GPT-3 では 2,048 トークン）の制約が例示数と性能の関係に与える影響。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - スロー思考 LLM における推論スタイルの誘導(観察第一の帰納 vs ヒューリスティックショートカット)をプロンプト設計で制御できるか。CoT 長の最適化と質の向上の両立はどのように達成するか。 - 知覚ボトルネックはテキスト変換固有か、それとも LLM の表現学習一般の限界か。TimeReasoner の純テキスト入力での競合性能と Chow+ の専用エンコーダの有効性が一見矛盾する。 - コールドスタート CoT の量的閾値(何件が最低限有効か)はドメインと基盤モデル能力でどう変動するか。 - 時系列版 ICL(TimesFM-ICF)は継続事前学習によって獲得された能力であり、NLP の ICL のようにモデル規模の拡大だけで創発するかは未検証。TimesFM(base)自体を大規模化すれば、追加の継続事前学習なしに文脈内の関連時系列を利用する能力が現れるのか。 - separator トークンによる境界明示は、テキスト ICL における例示の区切り(改行・特殊トークン等)とどこまで同型な設計原理か。テキスト側でも「区切り方の構造化」が精度に与える影響は体系的に検証されているか。 ## 横断的知見（追記分） - **文脈内学習は「例示」の単位を自然言語のテキストから数値時系列そのものへ拡張できる**。TimesFM-ICF は、対象時系列の履歴に加え、他の関連時系列を separator トークンで区切ってコンテキストウィンドウへ並べるだけで、勾配更新なしに対象ドメインへの適応を実現した。GPT-3 の少数ショット学習が「タスク記述+入出力例示」を自然言語トークン列として与えるのに対し、時系列版 ICL では「対象タスクの履歴+関連時系列の断片」を数値パッチ列として与える点が異なるが、いずれも「コンテキストに詰め込んだ関連情報から推論時に分布を読み取る」という同じ機構に依拠する。ただし NLP の ICL が既存の LLM にゼロショットで創発する現象であるのに対し、時系列版 ICL は base モデルに対する**継続事前学習**が必須である点が対照的である(素の TimesFM(base)は履歴以外のプロンプトを解釈する仕組みを持たない)。(Source: [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - **文脈内学習は「ファインチューニングと同等以上の効果を、勾配更新なしで」達成しうる**。TimesFM-ICF は Monash ベンチマーク全体で、対象データセットごとに全重み更新したファインチューニング済みモデル(FT-TimesFM Full)を約3%上回った。著者らはこれを、小規模データセットに対するファインチューニングが引き起こす破滅的忘却(catastrophic forgetting、LLM の継続的ファインチューニングでも既知の現象)が一因と推察している。これは、文脈内学習の効果がモデル規模だけでなく「パラメータ更新を伴わないことそれ自体の頑健性」にも由来しうることを示す新しい観察であり、GPT-3 論文が投げかけた「文脈内学習はベイズ推論の近似か、暗黙的な勾配降下か」という問いに、時系列ドメインから「少なくとも一部のケースでは明示的な勾配降下より優れる」という経験的な補強を与える。(Source: [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]]) - **文脈内学習の効果は例示の「量」だけでなく「構造化(separator による境界明示)」に依存する**。TimesFM-ICF のアブレーションでは、複数の時系列例示を separator なしで素朴に連結すると全く異なるパターン(複数の線形トレンドが三角波に見える等)に誤認され、モデルの性能を損なう。これは AIM が示した「意味的に関連した少数の例示を選ぶ方が量より効く」という知見(cf. 既存の横断的知見)と補完的で、時系列 ICL では「例示をどう区切り、モデルにどこまでが1つの例示かを伝えるか」という構造情報の明示が、テキスト ICL における例示選択・順序と同格の重要性を持つことを示す。(Source: [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]]) - **文脈内学習の数学的実体は RNN 状態の更新である**。Transformer のアテンションをカーネル法で再定式化すると、状態 $w_n = \sum_i v_i \phi_A(c_i)$ がトークンを処理するたびに更新される RNN として書ける。これはキーとバリューの対応を逐次的に「学習」しており、通常の重み内学習（ニューラルタンジェントカーネルによる定式化）と同質の手続きである。文脈内学習と重み内学習の違いはパラメータが更新されるか否かではなく、どこに情報が蓄積されるかの違いにすぎない。(Source: [[joisino-トランスフォーマーはRNN-2024]]) ## 関連 - ソース: [[@2020__NeurIPS__Language Models are Few-Shot Learners]] / [[@2022__NeurIPS__Chain-of-Thought Prompting Elicits Reasoning in Large Language Models]] / [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]] / [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] - エンティティ: [[GPT-3]] / [[OpenAI]] / [[Jason Wei]] / [[Denny Zhou]] / [[Google Brain]] / [[AIM (framework)|AIM]] / [[Komal Sarda]] / [[DeepSeek-V3]] / [[Abhimanyu Das]] / [[Matthew Faw]] / [[Rajat Sen]] / [[Yichen Zhou]] / [[TimesFM]] - 概念: [[Transformer]] / [[言語モデル事前学習]] / [[LLMスケーリング則]] / [[Chain-of-Thought Prompting]] / [[カーネル法]] / [[RNN]] / [[障害緩和]] / [[アラート要約]] / [[時系列基盤モデル]] ## 出典 - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]（§2 Approach: 少数ショット・ワンショット・ゼロショットの定義、§1 Introduction: メタ学習器としての解釈、§3 Results: タスク別性能、§5 Limitations: 比較タスクの弱点） - [[@2026__FSE Companion__Leveraging LLMs for Alert Summarization and Mitigation Plan Generation]](§3.3 Adaptive In-Context Generation、§4.4.1 温度アブレーション、§4.4.2 Prompt Strategy・Table 1/2、Figure 3/4) - [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]](§3 Problem Definition、§4 Model Architecture、§6 Experimental Results、§6.3 Comparison with Fine-tuning per dataset) - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]](§4.2.1 メタ学習・文脈内学習の3分類、§4.3.1 Dai et al. の線形注意-ファインチューニング双対性)