> [!abstract] 概要(abstract 和訳) > 時系列基盤モデルによるゼロショット予測の近年の成功に動機づけられ、我々は時系列基盤モデルの文脈内ファインチューニング(in-context fine-tuning)のための方法論を提示する。具体的には、推論時に複数の時系列例でプロンプトを与えることができる事前学習済み基盤モデルを設計し、対象時系列を将来へ予測する。我々の基盤モデルは、対象時系列の履歴に加えて、複数の関連する時系列からの例をそのコンテキストウィンドウ内で活用するよう特に訓練されており、これにより推論時に対象ドメインの特定の分布に適応できる。このように推論時に文脈内の例を利用する基盤モデルは、教師ありディープラーニング手法や統計モデル、他の時系列基盤モデルと比較して、一般的な予測ベンチマークではるかに優れた性能を得られることを示す。興味深いことに、我々の文脈内ファインチューニングのアプローチは、対象ドメインに対して明示的にファインチューニングされた基盤モデルの性能にさえ匹敵する。 ## 論文情報 - **タイトル**: In-Context Fine-Tuning for Time-Series Foundation Models - **著者**: Abhimanyu Das・Matthew Faw・Rajat Sen・Yichen Zhou(著者名はアルファベット順) - **所属**: Abhimanyu Das・Rajat Sen・Yichen Zhou は [[Google Research]]。Matthew Faw は University of Texas at Austin(本研究は Google Research での Student Researcher 在籍時に実施) - **媒体・発表年**: arXiv プレプリント、2024年10月31日投稿 - **arXiv ID**: 2410.24087([[.raw/papers/arxiv-2410.24087.pdf]]) ## 概要 本論文は、[[TimesFM]] を土台に、推論時にコンテキストウィンドウへ対象時系列の履歴だけでなく他の関連時系列からの複数の例示(in-context examples)を含めることで、勾配更新なしにドメイン固有ファインチューニングの効果を再現する「文脈内ファインチューニング」を提案する。TimesFM(base)から継続事前学習したモデル TimesFM-ICF は、Monash・ETT の両ベンチマークで既存のゼロショット手法・教師あり手法を上回り、驚くべきことに対象データセットで明示的にファインチューニングしたモデルの性能さえ上回る場合がある。 ## 問題設定 標準的な時系列基盤モデルは、対象タスクの履歴 $y_{1:L}$ を入力し、地平線 $H$ の予測 $\hat{y}_{L+1:L+H}$ を出力する関数 $g: y_{1:L} \to \hat{y}_{L+1:L+H}$ として定式化される。本論文はこれを拡張し、対象タスクの履歴に加えて $n-1$ 個の文脈内例示 $\{y^{(1)}_{1:T_1}, y^{(2)}_{1:T_2}, \cdots, y^{(n-1)}_{1:T_{n-1}}\}$(長さ $T_1, \ldots, T_{n-1}$ は可変)を追加した拡張問題 $f: (\{y^{(1)}_{1:T_1}, \ldots, y^{(n-1)}_{1:T_{n-1}}\}, y_{1:L}) \to \hat{y}_{L+1:L+H}$ を設計する。ハイウェイ交通予測の動機付け例では、$y_{1:L}$ が対象ハイウェイの直近1週間の時間別交通データ、文脈内例示が近隣ハイウェイの時間別交通データに相当する。モデルは任意の $(L, H)$ の組と、0 から上限までの任意の例示数 $(n-1)$ に対応できる必要がある。表記上、対象タスクの履歴と地平線を $n$ 番目の例示 $y^{(n)}_{1:T_n} := y_{1:L+H}$($T_n = L+H$)として扱い、$n$ 個の例示の集合 $\{y^{(i)}_{1:T_i}\}_{i=1}^{n}$ を「コンテキスト(プロンプト)」と呼ぶ。 ## 提案手法 - **アーキテクチャ**: [[TimesFM]] の decoder-only アーキテクチャを土台に、TimesFM(base)チェックポイントから継続事前学習(continued pretraining)して TimesFM-ICF を得る。各例示は非重複の入力パッチに分割され、共有 input residual block(スキップ接続付き1隠れ層パーセプトロン)でトークン化されたのち、decoder-only の積み重ねトランスフォーマーに投入される。出力は共有 output residual block で次の出力パッチへ写像される(Figure 4)。 **Figure 4: TimesFM-ICF の decoder-only アーキテクチャ** ![[_attachments/arxiv-2410.24087/fig04-architecture.png]] (Figure 4. 各例示(example 1, example 2, ..., example n)は入力パッチに分割され Input MLP Embedding Layer でトークン化される。各例示の末尾には学習可能な Common Separator Token が挿入され、Causal Self Attention はそれ以前の全パッチと separator トークンに注意を向ける(Attend to all previous patches and separators)。Stacked Transformers を num_layers 回繰り返した後、Output MLP Layer で次の出力パッチ(output_patch_len=128)を予測する。Source: Figure 4.) - **文脈内例示の separator(§4.1)**: 複数の時系列を素朴に連結すると、モデルが誤認する。Figure 3 が示す例では、3本の線形トレンド(Figure 3a)を separator なしで連結すると三角波(Figure 3b)にしか見えなくなる。 **Figure 3: separator ありと separator なしの連結** ![[_attachments/arxiv-2410.24087/fig03a-concat-with-separators.png]] (Figure 3a. 複数の線形トレンドを黒破線の separator で区切って連結した場合。Source: Figure 3a.) ![[_attachments/arxiv-2410.24087/fig03b-concat-without-separators.png]] (Figure 3b. 同じ複数の線形トレンドを separator なしで素朴に連結すると、三角波にしか見えなくなり、モデルを混乱させる。Source: Figure 3b.) この問題を避けるため、各文脈内例示の末尾に共通の学習可能な separator トークン $\sigma$ を挿入する。Figure 2 はこの構成の全体像を示す。 **Figure 2: 文脈内例示を含む予測タスクの構成** ![[_attachments/arxiv-2410.24087/fig02-prediction-task-example.png]] (Figure 2. 3つの文脈内例示 $y^{(1)}_{1:T_1}, y^{(2)}_{1:T_2}, y^{(3)}_{1:T_3}$(黒破線の separator で区切られる)と対象タスクの履歴 $y_{1:L}$(赤破線が end of history)から地平線 $y_{L+1:L+H}$(緑破線が end of horizon)を予測するタスク例。Source: Figure 2.) - **交差例示アテンション(§4.2)**: トランスフォーマーは(因果的に)それ以前の全パッチおよび separator トークンに注意を向けられるようにする。separator トークンに注意を向けなければ、Figure 3a と Figure 3b の2つの状況を区別できない。separator トークンに対応する出力トークンは、後続の層を経るにつれ、対応する例示内の全パッチの情報を要約したり、異なる文脈内例示間の境界をモデルに伝えたりする、より高度な役割を果たしうる。 - **位置エンコーディング(§4.3)**: Haviv et al. (HRPIL22) の知見に基づき、TimesFM(base)を絶対位置エンコーディングでなく NoPE(No Positional Encodings)で事前学習し直したチェックポイントを用いる。因果アテンション自体が(2層以上積み重なれば)位置情報を暗黙的に符号化しうるという仮説に基づく。NoPE の利点は2つ: (i) 文脈内例示の追加でプロンプト長が伸びるため、NoPE の方が長さ汎化に優れる。(ii) 元の絶対位置エンコーディングを使うと、base モデルでの位置エンコーディングの意味が継続事前学習時と変わってしまい、学習の妨げになる。NoPE への切り替えによる精度低下は確認されなかった。 - **モデル全体の定式化(§4.4)**: 各例示 $y^{(i)}_{1:T_i}$ をパッチ長 $p$ の入力パッチ $\tilde{y}^{(i)}_j$ に分割し、パディングマスク $\tilde{m}^{(i)}_j$ とともに共有 MLP 埋め込み層(InputResidualLayer)へ通してトークン $t^{(i)}_j$ を得る。separator トークン $\sigma$ は $t^{(i)}_{\lceil T_i/p \rceil+1} = \sigma$ として付加され、そのマスクは常に非マスク($\tilde{m}^{(i)}_{\lceil T_i/p \rceil+1} = 0$)とする。トークン列は decoder-only の積み重ねトランスフォーマーに自己回帰的に投入され、トークン $t^{(i)}_j$ の出力 $o^{(i)}_j$ は「それ以前の全ての(マスクされていない)トークン」「$i-1$ 個の separator トークン」「現在の例示 $i$ 内のトークン $\tilde{t}^{(i)}_{1:j}$」に依存する。最後に output residual block を通して次の $h$ ステップの予測 $\hat{y}^{(i)}_{pj+1:pj+h}$ を得る。 - **損失関数(§4.5)**: [[TimesFM]] と同様、平均二乗誤差(MSE)を点予測損失として用いる。$\text{TrainLossPerContext} = \frac{1}{\sum_{i=1}^n \lceil T_i/p \rceil} \sum_{i=1}^n \sum_{j=1}^{\lceil T_i/p \rceil} \| \hat{y}^{(i)}_{pj+1:pj+h} - y^{(i)}_{pj+1:pj+h} \|^2$ - **事前学習データとコンテキスト生成(§5)**: TimesFM(base)は約400億(400B)時系列点の多様なコーパスで事前学習済み(詳細は Das et al. のオリジナル TimesFM 論文を参照)。継続事前学習では最大履歴長 $L_{max}=512$、出力パッチ長 $h=128$ から $T = L_{max}+h = 640$ を各文脈内例示の最大長として設定する。個々の時系列からシフト幅1のウィンドウイングで長さ $T$ の例示群を生成し、以下2種類のグルーピングでコンテキストを構成する: 1. **時系列レベル**: 1本の長い時系列を長さ $T$ の複数の短い時系列に分割し、そのうち $n$ 個を選んでコンテキストを構成する。 2. **データセットレベル**: 同一データセット内の任意の時系列から長さ $T$ の $n$ セグメントを選んでコンテキストを構成する(例: Electricity データセット内の任意の時系列からの $n$ セグメント)。 Wiki 系4データセット(数百万本の記事関連時系列を含み、相互の関連性が不明瞭)は継続事前学習の対象から除外した。残りのデータセットでは $n=50$ を例示数とし、時系列レベル・データセットレベルの両方でコンテキストを生成する(可能な組み合わせ数 $\binom{N}{n}$ が非現実的に大きいため、$20N$ 個のコンテキストをランダム生成)。データローダーは元の TimesFM 論文に従い実データ90%・合成データ10%をサンプリングし、時間別・日次・週次・月次の粒度グループに等重み、時系列レベル・データセットレベルの2種類の例示に等重みを与える。 ## 新規性 先行研究([[Chronos]]、Moment 等)も対象データセットでのファインチューニングによる精度改善を示しているが、これはゼロショットパラダイムを崩す。NLP 領域では、文脈内学習([[文脈内学習]])によってプロンプト内の少数の例示・指示だけで LLM がドメイン適応する現象が知られているが、既存の時系列基盤モデル([[Chronos]]・TimesFM(base)・TimeGPT-1 等)は履歴以外の情報でプロンプトできる明確な仕組みを持たなかった。本論文は時系列領域における文脈内学習の明確な定義を与え、対象ドメインの分布に推論時点で適応できるようアーキテクチャ(separator トークン・交差例示アテンション・NoPE)を設計した点が新規性である。また、既存研究には「時系列の文脈内学習が NLP のそれと同様に成立するか」自体が自明でないという指摘があり、本研究はこれに肯定的な実証結果を与える。 **Figure 1: LLM の少数ショットプロンプティングと時系列版文脈内学習の類推** ![[_attachments/arxiv-2410.24087/fig01a-llm-fewshot-analogy.png]] (Figure 1(左). LLM の少数ショットプロンプティングの例。タスク記述「歴史的出来事が起きた年を特定せよ」に続けて、文脈内例示として「フランス革命→1789〜1799年」「第1回近代オリンピック→1896年」「ボイジャー2号打ち上げ→1977年」の3つの Q&A ペアを与え、最後の質問「フェルマーの最終定理の証明→?」に答えさせる。Source: Figure 1(左).) ![[_attachments/arxiv-2410.24087/fig01b-timeseries-icf-analogy.png]] (Figure 1(右). 時系列版の類推。タスク「ハイウェイNo.1の将来の時間別交通量を予測せよ」に対し、文脈内例示としてハイウェイNo.2・No.3・No.4の交通パターン(時系列)を与え、ハイウェイNo.1自身の履歴(Hour1〜Hour72)から未来を予測させる。LLM の少数ショット学習における「Q&A ペアの例示」が、時系列版では「関連する時系列そのものの例示」に対応する。Source: Figure 1(右).) ## 実験設定 - **評価データセット**: Monash アーカイブ([[.raw/papers/arxiv-2410.24087.txt]] 参照、Godahewa et al.)の18データセット(Das et al. のオリジナル TimesFM 論文でゼロショット評価に用いられたものと同一)、および ETT データセット4種(ETTh1・ETTh2・ETTm1・ETTm2)。いずれもモデルの事前学習・継続事前学習で見ていないデータ。 - **比較対象**: 統計モデル(ARIMA・(DHR-)ARIMA・ETS・Theta・TBATS・SES)、教師あり深層学習モデル(CatBoost・DeepAR・N-BEATS・N-HiTS・PatchTST・WaveNet・Transformer・FFNN・PR)、他の時系列基盤モデル(TimesFM(base)・LLMTime)、Informer 系の長期予測ベースライン(Informer・Pyraformer・FEDformer・LogTrans・Autoformer)。 - **評価指標**: Monash では各手法の MAE を、直近時点の値を地平線全体に複製する naive ベースラインの MAE で正規化し、その幾何平均(Scaled MAE (GM))を報告(正規化指標では算術平均でなく幾何平均が適切、Fleming & Wallace 1986 に基づく)。ETT では地平線長96・192の生の MAE の算術平均を報告(既に正規化済みデータセットのため)。 - **モデル設定**: TimesFM(base)は200Mパラメータ、16アテンションヘッド、20層、入力パッチ長32、出力パッチ長128、モデル次元1280。学習率スケジュールは Vaswani et al. のピーク学習率 $5 \times 10^{-4}$。TimesFM-ICF の separator トークンは学習可能な埋め込み(次元1280)で継続事前学習中も更新される。最大例示数は $n=50$。 - **ファインチューニング比較用ベースライン**: Monash の各データセットに対して TimesFM(base)を (1) 全重み更新する FT-TimesFM (Full)、(2) トランスフォーマー層を固定し入力・出力残差ブロックのみ更新する FT-TimesFM (LP、Linear Probing) の2通りでファインチューニング(バッチサイズ16、最大10kイテレーション)。 ## 実験結果 - **Monash・ETT でのアウトオブドメイン予測** **Figure 5: Monash・ETT での主要結果** ![[_attachments/arxiv-2410.24087/fig05-monash-ett-results.png]] (Figure 5. (a) Monash 18データセットの Scaled MAE 幾何平均。TimesFM-ICF が最良で、N-BEATS(次点の教師ありベースライン)を7%、TimesFM(base)を7%上回る。TimesFM-ICF・TimesFM(base)・LLMTime のみがゼロショット手法。(b) ETT 4データセット平均の MAE(地平線96・192)。TimesFM-ICF は最も近いベースライン(PatchTST・N-HiTS・TimesFM(base) が僅差で並ぶ)に対して25%以上のマージンで改善する。Source: Figure 5.) Monash では18データセット中9データセットの時系列長が512未満であり、文脈内例示が完全な長さ $T$ を確保できないケースがあるため、ETT ほど改善幅は大きくない(7%)。一方 ETT は全データセットの時系列が十分な長さを持つため、文脈内ファインチューニングの効果がより顕著に現れる(25%以上)。 - **ファインチューニングとの比較(§6.3)** **Figure 6: データセット別ファインチューニングおよび長履歴モデルとの比較** ![[_attachments/arxiv-2410.24087/fig06-finetune-longerhistory.png]] (Figure 6a. Monash 全体の Scaled MAE 幾何平均。TimesFM-ICF は FT-TimesFM (Full)(TimesFM(base)比4%改善)をさらに約3%上回り、勾配更新を一切行わないゼロショット手法が per-dataset ファインチューニングを上回るという結果を示す。Figure 6b. 最大履歴長2048の TimesFM (LH) との比較。TimesFM-ICF-50ex(50例示)は TimesFM(LH)を上回り、TimesFM(LH)と同じ合計コンテキスト長の TimesFM-ICF-4ex(4例示)でも TimesFM(base)比3%改善する。Source: Figure 6.) ファインチューニングの総所要時間は FT-TimesFM (LP) で115分(ジョブスケジューリング時間を除く)かかるのに対し、TimesFM-ICF の全データセット推論時間は合計4分にとどまる(TPUv5e、8テンソルコア)。小規模データセット(tourism yearly・bitcoin・us births)では TimesFM-ICF がファインチューニングを上回り、大規模データセット(australian electricity demand)では逆にファインチューニングが優る傾向があり、著者らはこれをファインチューニングによる破滅的忘却(catastrophic forgetting、Luo et al. 2023 で LLM においても観測される現象)が小規模データセットで顕著に起きるためと推察している。 - **アブレーション(§6.4)** **Figure 7: 文脈内例示数のアブレーション** ![[_attachments/arxiv-2410.24087/fig07-num-examples-ablation.png]] (Figure 7. ETTh1・ETTh2 での文脈内例示数(1〜50)を変化させた MAE。例示数の増加とともに単調に性能が改善する。ETT データセットは全時系列が長さ $T$ の完全な例示を提供できるためこのアブレーションに適する。Source: Figure 7.) **Longer History との比較**: 最大履歴長2048の TimesFM (LH) は TimesFM(base)比で1%の改善にとどまるのに対し、TimesFM-ICF-50ex は7%改善する。これは文脈内ファインチューニングが単純な履歴長の拡張より効果的であることを示す。理由として、文脈内ファインチューニングでは短い時系列を複数個パッキングして文脈内例示として活用できる一方、長履歴モデルでは短い時系列がパディングされ文脈の大部分が無駄になる点を挙げる。詳細な内訳(Table 7)では、TimesFM (LH) は australian electricity demand のような長いデータセットで優れる一方、cif や tourism yearly のような短いデータセットでは劣化する。 - **ディスアンビギュエーションの定性例(付録 A.6)** **Figure 8: 文脈内例示によるあいまい性解消の例** ![[_attachments/arxiv-2410.24087/fig08a-disambiguate-trend-vs-seasonality.png]] (Figure 8a. 左: 履歴のみでは増加トレンドと振動する季節性のどちらかを判別できず誤った予測(オレンジの pred)になる。右: 文脈内例示(灰色の separator で区切られた過去の関連時系列)を追加すると、季節パターンを正しく捉えた予測になる。Source: Figure 8a.) ![[_attachments/arxiv-2410.24087/fig08b-disambiguate-trend-vs-triangular.png]] (Figure 8b. 左: 履歴のみでは増加する線形トレンドと三角波のどちらかを判別できない。右: 文脈内例示を追加すると三角波パターンを正しく予測する。Source: Figure 8b.) ## 考察 - 文脈内ファインチューニングがデータセットごとのファインチューニングを上回るという結果は直感に反するが、著者らは小規模データセットにおける破滅的忘却がその一因である可能性を指摘する。これは大規模言語モデルの継続的ファインチューニングでも観測される現象であり、時系列基盤モデルにも同様の脆弱性が存在することを示唆する。 - 文脈内ファインチューニングは推論のみで完結するため、ファインチューニングのように学習パイプラインを構築・維持する必要がなく、実務上のデプロイコストが大幅に低い(推論4分 vs ファインチューニング115分)。 - 文脈内例示の効果は、対象データセットの時系列が十分な長さを持つかどうかに依存する(Monash の7% vs ETT の25%以上)。これは、コンテキストに十分な数・十分な長さの関連例示を供給できるかが本手法の効果を左右する実務上の制約であることを示す。 ## 強み / 弱点・課題 - **強み**: ゼロショットパラダイムを崩さずにドメイン適応相当の精度改善を得られる。勾配更新が不要なため推論のみで完結し、計算コスト・運用コストが低い。単純な履歴長拡張よりも文脈長を効率的に使える(短い時系列のパディング無駄を回避)。 - **弱点・課題**: 論文自身が「Wiki データセットは相互に無関係な記事群のクラスタリング前処理が必要で今回は対象外とした」と明記しており、大規模だが構造化されていないデータへの適用は将来課題として残されている。また、文脈内例示に特化した相対位置エンコーディングの設計や、長さ汎化のさらなる改善は未解決として結論部で言及されている。本手法は特定の基盤モデル(TimesFM)を土台にしており、他の基盤モデルへの一般化可能性は今後の検証課題である。