> [!abstract] 概要(arXiv abstract の日本語訳) > 個別業務向けに作り込んだ時系列モデルから時系列基盤モデルへの移行は、モデルと応用の関係を一対一から一対多へと変える。この移行は、多数の、場合によっては高リスクな予測応用が単一の時系列基盤モデルの同じバイアスと失敗モードにさらされるという集中リスクをもたらす。同時に、この集中化はモデル開発と検証における規模の経済を可能にする。本研究では、時系列基盤モデルのバイアスと失敗モードを展開前にどのように特定できるかを調査する。我々は、時系列基盤モデルが時系列パターンを保存する能力を調査するための因果分析フレームワークを提案する。これを達成するために、我々はパラメータ化された合成時系列生成器に介入し、ceteris paribus(他の条件を一定に保つ)条件下でのモデル出力の対応する変化を測定する。我々はこの因果分析フレームワークを Chronos-2 と TimesFM-2.5 に適用し、6 種類の異なる時系列パターンにわたって両モデルを検証する。トレンドと調和振動パターンについては安全な設定を見出した。結果はまた、両モデルに持続性を過大評価するバイアスがあること、両モデルともレジームスイッチパターンに対して突発的な失敗を示すこと、TimesFM-2.5 はエネルギー放出パターンに対して失敗することを示している。両モデルの原論文の検討から、これらの知見は事前学習に用いられたデータによって説明できる可能性が示唆される。我々は、さらなるモデル開発への提案、応用特化型のモデル選択に関する推奨、限界と今後の研究方向の議論をもって本研究を締めくくる。 ## 論文情報 - タイトル: Causal Analysis for Time Series Foundation Models - 著者: Mathis Jander(所属: [[University of Twente]] / [[European Central Bank]])、[[Wouter van Heeswijk]]([[University of Twente]])、[[Martijn Mes]]([[University of Twente]]) - 媒体: arXiv プレプリント(cs.LG) - 発表年: 2026 年(投稿日 2026-08-25、論文ヘッダー表記は 2026 年 8 月 26 日) - arXiv ID: 2608.24303 - コード: https://github.com/MSCA-DN-Digital-Finance/tsfm_causal_analysis - 実験結果データセット: https://zenodo.org/records/22082090 ## 概要 本論文は、[[時系列基盤モデル]](TSFM)が展開前にどのようなバイアス・失敗モードを持つかを特定するための**因果分析フレームワーク**を提案する。パラメータ化された合成時系列生成器に Pearl の do 演算子で介入し、生成された軌道とモデル出力それぞれから計算したパラメータ統計量の変化(dose-response 関係)を比較することで、他の要因を排した因果的な評価を行う。このフレームワークを [[Chronos-2]] と [[TimesFM|TimesFM-2.5]] に適用し、6 種類の時系列パターンで検証した結果、両モデルに持続性の過大評価バイアスと、レジームスイッチ・エネルギー放出パターンに対する失敗モードを確認した。 ## 問題設定 - **入力**: 構造パラメータ θ を持つ確率的または決定論的な時系列生成器 G_θ から生成された長さ T の軌道 y。 - **出力**: TSFM M に y を入力した際の長さ H の予測軌道 M(y)。 - **前提条件**: 単一の生成器パラメータ θ_i のみを do 演算子で操作し(`do(θ_i = α)`)、他のパラメータと乱数系列 ϵ は固定する。これにより ceteris paribus 条件を作り、観測された変化がその介入によって厳密に引き起こされたことを保証する。 - **必要なデータ**: 実データセットではなく、パラメータ化された合成時系列生成器(ランダムウォーク・AR(1)・調和振動・レジームスイッチ・エネルギー放出・fBm)。実世界データでは介入対象のデータ生成過程そのものを制御できないため、合成生成器が必須となる。 ## 提案手法 - **アーキテクチャ(因果分析フレームワーク)**: 生成器パラメータへの介入 `do(θ_i = α)` を「用量(dose)」、軌道 y とモデル出力 M(y) それぞれから計算したパラメータ統計量 δ(y)・δ(M(y)) を「応答(response)」とみなし、両者の関係を dose-response 曲線として描く。Pearl の因果的枠組みに基づき θ → y → M(y) という有向非巡回グラフ(DAG)で構成要素を定義する。 **Figure 1: 因果分析フレームワークの概念図** ![[_attachments/arxiv-2608.24303/fig01-causal-framework.png]] (Figure 1. パラメータ介入 do(θ_i = α) を「用量」として制御し、軌道 y とモデル出力 M(y) それぞれのパラメータ統計量 δ(y)・δ(M(y)) を「応答」として観測する構造を示す。) - **数式による定式化**: - 生成器: `G: N → R`(離散時刻を時系列値に写す関数) - 軌道: `y = G_θ(t) + ϵ, y ∈ R^T`(構造パラメータ θ と実現ごとの乱数 ϵ を明示的に分離) - TSFM: `M: R^T → R^H`(長さ T の軌道を受け取り長さ H の出力軌道を返す) - パラメータ統計量: `δ: R^l → R, l ∈ {T, H}`(軌道を単一のスカラーに圧縮し、生成器パラメータ θ_i に関連する性質を推定する) - **実装上の工夫**: 各実験で固定長 T=200・H=200 とし、n=50 個の独立な乱数実現(noise realization)にわたって応答を集計することで、単一サンプルのばらつきに左右されない dose-response 関係を得ている。 ## 実験設定 - **対象モデル**: [[Chronos-2]]([[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting|Ansari+, 2025]])と [[TimesFM|TimesFM-2.5]]([[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting|Das+, 2024]])。いずれも Hugging Face で頻繁にダウンロードされる時系列予測モデルとして選定された。 - **評価指標(パラメータ統計量)**: 実装ライブラリは `statsmodels`(AR(1) 係数推定)・`scipy.signal.welch`(FFT による波長推定)・`ruptures.Pelt`(変化点検出による滞留時間推定)・`fbm`(fBm 生成)・`hurst`(Hurst 指数推定)を用いる。 **Table 1: 実験・介入スイープ・パラメータ統計量の一覧** | Experiment | Generator | Intervention Sweep | δ | |---|---|---|---| | 1 | Random Walk | µ ∈ {−0.05, −0.025, −0.005, 0.005, 0.025, 0.05} | µ̂ | | 2 | AR(1) | β ∈ {−0.5, 0.0, 0.3, 0.6, 0.85, 0.98} | β̂ | | 3 | Harmonic Oscillator | λ ∈ {5, 10, 25, 50, 75, 100} | λ̂ | | 4 | Regime Switch | τ ∈ {5, 10, 25, 50, 75, 100} | τ̂ | | 5 | Energy-release | κ ∈ {5, 10, 25, 50, 75, 100} | κ̂ | | 6 | fBM | H ∈ {0.15, 0.3, 0.45, 0.55, 0.7, 0.85} | Ĥ | (Table 1. 6 つの実験それぞれの生成器・介入スイープ範囲・パラメータ統計量 δ の対応表。) 各実験の生成器定義: - **実験1(ランダムウォーク+ドリフト)**: `y_t = y_{t-1} + µ + ϵ_t, ϵ_t ~ N(0, σ²)`。初期値 y_0=0.0、noise scale σ=1.0。ドリフト項 µ に介入し、パラメータ統計量として一階差分の経験平均 `µ̂ = (1/(n-1)) Σ (y_t - y_{t-1})` を用いる。 - **実験2(AR(1))**: `y_t = c + βy_{t-1} + ϵ_t, ϵ_t ~ N(0, σ²)`。固定パラメータ y_0=0.0、c=0.0、σ=1.0。自己回帰係数 β に介入。 - **実験3(調和振動子)**: `y_t = A sin(2π/λ · t + ψ) + ϵ_t, ϵ_t ~ N(0, σ²)`。振幅 A=1.0、位相 ψ=0.0、noise scale σ=0.05 で固定し、波長 λ に介入。パラメータ統計量 λ̂ は FFT で最優勢周波数を抽出して波長に変換する。 - **実験4(レジームスイッチ)**: `y_t = y_{t-1} + m_t + ϵ_t, ϵ_t ~ N(0, σ²)`。ドリフト m_t は {1.0, −1.0} を滞留時間 τ_dw ごとに切り替える区分線形トレンド。noise scale σ=0.05。滞留時間パラメータ τ に介入。 - **実験5(エネルギー放出)**: `y_t = y_{t-1} + s_t + |ϵ_t|`(s_t=0.2、ϵ_t ~ N(0, σ²)、σ=0.05)。y_t が閾値 κ を超えると y_t=0 にリセットする。非線形なトリガーイベントと臨界閾値を捉えるための生成器で、閾値 κ に介入する。 - **実験6(fBm、フラクショナルブラウン運動)**: Hurst 指数 H で持続性(H>0.5)・反持続性(H<0.5)を制御する fBm 過程。H=0.5 でランダムウォークに一致する。 ## 実験結果 論文は各実験について「軌道の推移(trajectory)」「軌道とモデル出力それぞれのパラメータ統計量の分布」「軌道パラメータ統計量 vs モデルパラメータ統計量の散布図(理想は y=x)」の 3 種類の図で dose-response 関係を可視化している。 ### 実験1: ランダムウォーク+ドリフト 両モデルともランダムウォークのノイズを平滑化する一方、Chronos-2 の方が TimesFM-2.5 よりドリフトの保存に優れる。TimesFM-2.5 はドリフトの大きさを正負両方向で一貫して過小評価し、ゼロ方向へのバイアスを示す。 **Figure 2: 実験1における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig02-trajectories-exp1-randomwalk.png]] (Figure 2. 両モデルはドリフトを保存しつつノイズを除去しているように見える。軌道の終盤で TimesFM-2.5 は値をゼロ方向へ引き寄せる傾向がある。) **Figure 3: 実験1のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig03-distributions-exp1-randomwalk.png]] (Figure 3. n=50 の乱数実現にわたる軌道とモデル出力のパラメータ統計量の分布。TimesFM-2.5 は軌道より小さいドリフトの大きさを示す。) **Figure 4: 実験1における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig04-comparison-exp1-randomwalk.png]] (Figure 4. n=6×50=300(モデルあたり)。両モデルとも理想直線を中心に分布するが、TimesFM-2.5 はゼロ方向へのバイアスを示す。) ### 実験2: AR(1) 両モデルとも AR(1) 過程の出力を平坦な直線に潰してしまい、`do(β=0.98)` を除くほぼ全ての介入で出力がゼロに近づく。両モデルとも低い β 値でも高い β̂ を出力し、β の値が大きくなるにつれ軌道分布とモデル出力分布の差は縮小する。これは両モデルが自己相関ラグ1を一貫して過大評価するバイアスを持つことを示す。 **Figure 5: 実験2における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig05-trajectories-exp2-ar1.png]] (Figure 5. 表示された乱数実現の全介入にわたって、両モデルの出力は平坦な直線に収束する。) **Figure 6: 実験2のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig06-distributions-exp2-ar1.png]] (Figure 6. `do(β=−0.5)` を除き両モデルとも低い β 値で β を過大評価する。この例外では Chronos-2 の方が TimesFM-2.5 より β をよく推定する。) **Figure 7: 実験2における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig07-comparison-exp2-ar1.png]] (Figure 7. n=6×50=300。0<β<0.85 の範囲で両モデルとも入力軌道より高い β̂ を持つ出力を生成する傾向がある。) ### 実験3: 調和振動子 両モデルとも介入範囲全体で波長を保存する。介入範囲内で、両モデルの推定波長パラメータ統計量 δ(M(y)) が介入パラメータ λ および軌道パラメータ統計量 δ(y) と一致しない値は見られなかった。ただし振幅は一部の波長で完全には保存されず、介入にわたって小さな変動を示す。 **Figure 8: 実験3における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig08-trajectories-exp3-harmonic.png]] (Figure 8. 両モデルとも介入全体を通じて波長を保存しているように見える。) **Figure 9: 実験3のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig09-distributions-exp3-harmonic.png]] (Figure 9. 両モデルの分布は軌道の分布と一致し、分散もほとんど見られない。) **Figure 10: 実験3における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig10-comparison-exp3-harmonic.png]] (Figure 10. n=6×50=300。両モデルとも目に見える逸脱のない理想的な整合を示す。) ### 実験4: レジームスイッチ 両モデルとも一部の介入でレジームスイッチパターンの保存に失敗する。Chronos-2 は τ≥50 で、TimesFM-2.5 は τ≥25 でレジームの保存に失敗する。TimesFM-2.5 は一部の乱数実現で理想直線上に留まる一方、Chronos-2 の方が逸脱が少ない。 **Figure 11: 実験4における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig11-trajectories-exp4-regimeswitch.png]] (Figure 11. Chronos-2 は τ≥50、TimesFM-2.5 は τ≥25 でレジームの保存に失敗する。) **Figure 12: 実験4のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig12-distributions-exp4-regimeswitch.png]] (Figure 12. TimesFM-2.5 は τ が大きい値で Chronos-2 より強い分散と軌道パラメータ統計量からの逸脱を示す。さらに τ が増加するにつれ TimesFM-2.5 は τ を過大評価、Chronos-2 は過小評価する傾向がある。) **Figure 13: 実験4における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig13-comparison-exp4-regimeswitch.png]] (Figure 13. n=6×50=300。TimesFM-2.5 は τ≥50 で軌道より高い τ̂ を持つ出力を生成する一方、Chronos-2 は τ≥50 でより低い τ̂ を生成する。) ### 実験5: エネルギー放出 Chronos-2 は介入範囲全体で閾値パターンを保存するが、TimesFM-2.5 は κ≥25 で平滑化を始め、κ≥50 でパターンを完全に失う。κ̂≈5, 10 では両モデルとも軌道分布と整合するが、κ̂≈25 で分散が始まり、κ̂≈50 で両モデルとも κ を過小評価する。κ̂≈75 では過小評価バイアスは弱まるが分散が増加し、κ̂≈100 では TimesFM-2.5 が Chronos-2 より顕著に κ を過小評価する。 **Figure 14: 実験5における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig14-trajectories-exp5-energyrelease.png]] (Figure 14. Chronos-2 は閾値パターンを全介入範囲で保存するが、TimesFM-2.5 は κ≥25 で平滑化を始め κ≥50 でパターンを完全に失う。) **Figure 15: 実験5のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig15-distributions-exp5-energyrelease.png]] (Figure 15. Chronos-2 は介入範囲全体で TimesFM-2.5 より閾値パターンの保存に優れる。) **Figure 16: 実験5における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig16-comparison-exp5-energyrelease.png]] (Figure 16. n=6×50=300。Chronos-2 は TimesFM-2.5 より良い整合を示す。) ### 実験6: fBm(フラクショナルブラウン運動) 両モデルとも H<0.5 のジャギー(jagged)な性質の保存に苦戦し、介入全体で入力軌道を平滑化する。両モデルとも Ĥ を過大評価するバイアスを持ち、トレンドの持続性に偏る。Chronos-2 は低い H でより Ĥ を過小評価し、TimesFM-2.5 は高い H でのみ過小評価を示す。 **Figure 17: 実験6における単一ノイズ実現の軌道推移** ![[_attachments/arxiv-2608.24303/fig17-trajectories-exp6-fbm.png]] (Figure 17. 両モデルとも H<0.5 の介入でジャギーさの保存に苦戦し、介入全体で軌道 y を平滑化する。) **Figure 18: 実験6のパラメータ統計量の分布** ![[_attachments/arxiv-2608.24303/fig18-distributions-exp6-fbm.png]] (Figure 18. 両モデルの分布は軌道分布に比べて H を過大評価するが、Chronos-2 は TimesFM-2.5 より過大評価の度合いが小さい。) **Figure 19: 実験6における δ(M(y)) vs δ(y) の比較** ![[_attachments/arxiv-2608.24303/fig19-comparison-exp6-fbm.png]] (Figure 19. n=6×50=300。両モデルとも Ĥ を過大評価するバイアスを持つ。) ### 結果の総括 Chronos-2 と TimesFM-2.5 は、実験設定の範囲内でランダムウォーク+ドリフトと調和振動子については生成器の特性を保存した。一方、両モデルとも自己相関や長期依存の形での持続性を過大評価するバイアスを持ち、レジームスイッチパターンの保存に失敗する。TimesFM-2.5 は実験5の閾値パターンから介入が大きい値ほど強く逸脱するのに対し、Chronos-2 の逸脱は弱い。 ## 考察 - **ベンチマーク評価との整合性**: Chronos-2 の原論文([[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting|Ansari+, 2025]])が報告する fevbench・GIFT-Eval・Chronos Benchmark II での集約指標(Average Win Rate、Skill Score)は個々の時系列パターンごとの性能を示さないため、本研究の実験結果と直接比較できない。ただし Rossmann 販売予測ケーススタディでの単変量予測の強い平滑化は実験1・2・6の結果と、エネルギー価格予測ケーススタディでの周期的パターンへの整合は実験3の結果と矛盾しない(ただしいずれも定量評価を伴わない単一サンプルの報告であり、in vitro の知見が in vivo のケーススタディへ一般化するという証明ではなく、矛盾する知見が無いことを示すにとどまる)。 - **TimesFM-2.5 の原論文**([[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting|Das+, 2024]])が報告する Darts・Monash 両ベンチマークの性能は、トレンドや周期パターンを持つと想定されるデータセットで明確な優位を示さず、著者らはデータセット単位ではなく競合モデル間の比較にとどまるため、実験結果との比較可能性は限定的とする。 - **事前学習データからの説明**: Chronos-2 は 23 種のデータセット(一部合成)で学習され、うち 5 種がエネルギー、6 種が交通カテゴリで、これらが日次・週次サイクルなど周期的パターンを持つと仮定すると、データセットの約半数が周期パターンを表すことになる。これは実験3での波長保存の結果と整合する。合成データ生成には TSI(トレンド・季節性・不規則性の合成)、自己回帰モデル、指数平滑モデル、KernelSynth が使われている。TimesFM-2.5 の原論文は 19 種の学習データセットのうち 4 種をトレンドに分類し、電力・交通・天候データセットも周期パターンを持つと推測できる。合成データはトレンドの区分線形・ARMA 過程・季節パターンで構成される。両モデルとも学習データがトレンドと周期パターンに偏っている可能性があり、これが実験1・3での良好な保存性能と、実験4・5での失敗モード、実験2・6での低い持続性値での過大評価バイアスを説明しうる。 - **モデル開発への示唆**: より多様な学習データが、特定された失敗モードとバイアスを是正しうる。Chronos-2 の原論文が示す「合成データのみで学習したバージョンが実データ+合成データ版に近い性能を達成した」という知見を踏まえると、固定された経験分布を持つ実世界データセットの代わりに、幅広い生成器設定にわたって安全な使用範囲を確保できるパラメータ化された合成生成器での事前学習が有望な戦略となりうる。 - **モデル選択への示唆**: 応用ドメインで想定される時系列パターンが分かっている実務者にとっては、複数の異なるデータセットにわたる競合モデルのランキングより、特定のパターン(例: 周期構造)に対するモデルの dose-response 関係を理解する方が、モデル選択の判断材料として有用でありうる。 **Table 2: パターン別のモデル挙動・失敗モード・モデル選択推奨のまとめ** | Pattern | Chronos-2 の挙動 | TimesFM-2.5 の挙動 | 推奨 | |---|---|---|---| | Random Walk | ドリフトの大きさを保存(軌道に近い) | ドリフトの大きさを過小評価(ゼロ方向へのバイアス) | Chronos-2 | | AR(1) | 出力が直線に潰れる | 出力が直線に潰れる | 回避(Avoid) | | Harmonic Oscillator | λ̂ を保存、一部の波長で振幅がカットされる | λ̂ を保存、一部の波長で振幅がカットされる | 引き分け(Tie) | | Regime Switch | レジームと滞留時間を τ=50 まで保存 | τ=25 で理想直線から早期に逸脱 | Chronos-2 | | Energy-release | 全範囲でパターンを保存(κ=100 で過小評価) | 25<κ<50 で平滑化、κ=100 で強い過小評価 | Chronos-2 | | fBm | Ĥ を過大評価、H<0.5 で強い平滑化 | Ĥ を過大評価、H<0.5 で強い平滑化 | 回避(Avoid) | (Table 2. 6 パターンにわたる Chronos-2・TimesFM-2.5 の挙動比較とモデル選択推奨の一覧。) ## 強み / 弱点・課題 **Strengths** - 実世界データではデータ生成過程を制御できないという Explainable AI・頑健性研究の限界に対し、パラメータ化された合成生成器への do 介入によって因果的に解釈可能な dose-response 関係を確立した点。 - 医薬品開発・自動車製造における「in vitro(ceteris paribus 条件下の因果分析)→ in vivo(より現実的な条件での検証)」という段階的検証プロセスとの類推により、TSFM 検証における方法論的ギャップを明確に位置づけた点。 - コードとデータセットを公開しており(GitHub・Zenodo)、再現性が確保されている。 **Weaknesses / Limitations** - 実験は固定の生成器集合・各生成器あたり単一の介入パラメータ・限定的な値域のスイープ・単一の noise scale に限られる。 - パラメータ統計量の保存性は固定長 200 タイムステップのウィンドウでのみ評価されており、ウィンドウ長との関係(例: 実験4の失敗モードが公称の滞留時間によるものか、入力軌道内で観測可能なレジームスイッチ回数によるものか)は未解明。 - in vitro の知見を実世界データセットで検証する in vivo の段階(第二段階)は本研究のスコープ外であり、著者ら自身が今後の研究課題として明記している。 - 対象モデルが Chronos-2 と TimesFM-2.5 の 2 種類に限られ、他の TSFM(Toto・Moirai 等)への一般化可能性は未検証。