# TimesFM ## 定義 TimesFM(Das+, ICML 2024 / arXiv:2310.10688、"A Decoder-Only Foundation Model for Time-Series Forecasting")は [[Google Research]] が開発した decoder-only の[[時系列基盤モデル]]。時系列をパッチに分割して残差ブロックでトークン化し、因果マスク付きの積み重ねトランスフォーマーで自己回帰的に次のパッチを予測する。200M パラメータ・約 100B 時系列点の事前学習コーパス(Wikipedia ページビュー 300B 点を主要源とする)で、多様なドメイン・粒度・ホライズン長にわたるゼロショット予測が教師あり SOTA に近い精度を達成した。著者は [[Abhimanyu Das]]・[[Weihao Kong]]・[[Rajat Sen]]・[[Yichen Zhou]]。([[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]]) ## 役割・位置づけ - **Google SRE AI の異常検知レイヤ**: [[@2026__Google Cloud Blog__AI in SRE - Where Google is Deploying Agentic AI to Improve Operations]] は、静的閾値が機能しない多様な顧客ワークロードに対する SRE AI の異常検知系で「`e.g., TimesFM`」とモデル例として明示する。エージェントが収集したシグナルを TimesFM に流して通常挙動からの異常を検出し、historical signals は顧客指向 SLO の予測にも使う。BigQuery への TimesFM モデル統合(`docs.cloud.google.com/bigquery/docs/timesfm-model`)があり、本番テレメトリと同じデータレイヤで推論できる。SRE での組み込み形は「検知層は時系列基盤モデル、上位の推論・対応は LLM エージェント」という階層分離([[異常検知]] が論じる「常時稼働には LLM が重すぎる」制約への産業実装解)。 - **Cisco TSM の基盤**: Cisco Time Series Model は TimesFM のアーキテクチャ改変(特殊トークン + 解像度埋め込み)として構築され、TimesFM からの継続事前学習(CPT)で 500M パラメータに育てる。patching/padding、residual block、decoder-only transformer 層、un-embedding の構成と実装は TimesFM に従う。解像度埋め込みは TimesFM の frequency embedding に概念的に近い。 - **ベースライン**: 評価では TimesFM-2.0・TimesFM-2.5 が比較対象。観測データでは Cisco TSM が上回り、GIFT-Eval の長コンテキスト部分集合でも TimesFM 2.0 を上回る(同等以上を保つ)。 - コンテキストウィンドウは初期 512〜4,096 点、最新の TimesFM 2.5 で 16,384 点まで拡張(Cisco TSM が問題視する「長コンテキストの制約」の代表)。 - TSFM のサーベイ [[@2025__arXiv__Foundation Models for Time Series - A Survey]] では、TimesFM(Das+, ICML 2024)は decoder-only・パッチベース・単変量・決定論的(MSE 損失)・200M パラメータとして分類される。非重複パッチで自己回帰生成し、ランダムマスキングで可変コンテキスト長に対応、zero-shot 予測向き。サーベイは多変量対応の欠如と固定長パッチのトレードオフを限界として挙げる。 - [[TimeCopilot]]([[@2025__arXiv__TimeCopilot]])の GIFT-Eval 実験では、MedianEnsemble を構成する 3 つの SOTA 基盤モデルの 1 つ([[Chronos-2]] + TimesFM + [[TiRex]])。単体(TimesFM-2.5、Google Research)でも CRPS・MASE の両ランクで上位に位置する(Figure 2)。 ### 因果分析による評価([[@2026__arXiv__Causal Analysis for Time Series Foundation Models]]) - パラメータ化された合成生成器への do 介入による因果分析で、TimesFM-2.5 はランダムウォークのドリフト大きさを一貫して過小評価(ゼロ方向へのバイアス)し、Chronos-2 より保存性能が劣る - レジームスイッチパターンでは τ=25 で早期に理想直線から逸脱し、エネルギー放出パターンでは κ≥25 で平滑化が始まり κ≥50 でパターンを完全に喪失する(いずれも Chronos-2 より弱い)。AR(1)・fBm での持続性過大評価バイアスは Chronos-2 と共有する - 著者は原論文の 19 学習データセットのうち 4 種がトレンド分類であることと、電力・交通・天候データセットの周期性から、この失敗モードとバイアスを事前学習データの偏りで説明できる可能性を指摘する ### ライブベンチマークでの評価([[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]]) - [[TS-Arena]] の2025年通年バックテストで timesfm-2.5-200m はグローバルELO 1240・MASE 0.747と上位に位置し、旧世代の timesfm-2.0-500m(ELO 1178・MASE 0.737)を明確に上回る。世代間のELO改善は本ベンチマークでも一貫して確認された。 ### 文脈内ファインチューニング版(TimesFM-ICF) - TimesFM(base)から継続事前学習した派生モデル TimesFM-ICF(Das・[[Matthew Faw]]・Sen・Zhou, arXiv:2410.24087、"In-Context Fine-Tuning for Time-Series Foundation Models")は、推論時にコンテキストウィンドウへ対象ドメインの関連時系列例示を追加するだけで、勾配更新なしにドメイン適応相当の精度改善を得る。separator トークン・交差例示アテンション・NoPE(No Positional Encodings)という3つのアーキテクチャ変更を base モデルに加える。 - Monash ベンチマークで TimesFM(base)を7%、ETT ベンチマークで最良ベースラインを25%以上上回り、per-dataset に全重み更新でファインチューニングした FT-TimesFM (Full)すら約3%上回る(推論4分 vs ファインチューニング115分)。 - 元の TimesFM(base)チェックポイントは絶対位置エンコーディング(Vaswani+ 2017)を用いていたが、TimesFM-ICF の実験では NoPE でも精度低下がないことを確認し、NoPE 版の base チェックポイントから継続事前学習している。(Source: [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]]) ### クラウドドメインでのゼロショット性能(Huawei Cloudベンチマーク) - [[@2025__arXiv__Performance of Zero-Shot Time Series Foundation Models on Cloud Data]] は、Huawei Cloudのサーバーレス関数リクエストデータ4データセット・3予測ホライズンの全12設定で、TimesFMがオンライン線形モデル・ナイーブ季節性予測器の両ベースラインに一貫して劣ることを示した。MASEはD1データセットH=336でナイーブ季節性予測器のおよそ2.6倍(7.225対2.809)に達し、検証した6種のFMの中でも下位に位置する。強い季節性を持つ典型的なクラウド時系列でも季節パターンを全く捉えられない事例が報告されている。 ### TimesFM-3: 多変量予測へのネイティブ対応(2026-08) - 330M パラメータ、1兆時点超のコーパスで事前学習。複数ターゲット・過去共変量・過去-未来共変量の3種の[[多変量時系列予測]]をゼロショットでネイティブに扱う初の TimesFM 世代([[@2026__Google Research Blog__TimesFM-3 - A Zero-Shot Foundation Model for Multivariate Forecasting]]) - [[時間-変量交互アテンション]](causal temporal attention と full variate attention の交互積層)を採用し、[[Contiguous Patch Masking]] による非自己回帰デコードで予測ホライズン全体を1回のフォワードパスで生成する - [[GIFT-Eval]]・[[FEV-Bench]]・[[Time leaderboard]] の3ベンチマークで点予測・確率予測とも首位。univariate モードのみでも [[Chronos-2]]・[[Toto]] 2.0 系列と同等以上 ## 関連 - エンティティ: [[Google]] / [[Toto]]・[[Chronos-2]]・[[TiRex]](同じ TSFM 群の比較対象)/ [[TimeCopilot]](MedianEnsemble 構成要素)/ [[TS-Arena]] / [[Matthew Faw]] / [[Ayush Jain]] / [[Petros Mol]] / [[Samet Oymak]] / [[Time leaderboard]] - 概念: [[時系列基盤モデル]] / [[エージェント型時系列予測]] / [[異常検知]] / [[アラート管理]] / [[agentic SRE]] / [[文脈内学習]] / [[時間-変量交互アテンション]] - ソース: [[@2025__arXiv__Cisco Time Series Model Technical Report]] / [[@2025__arXiv__Foundation Models for Time Series - A Survey]] / [[@2025__arXiv__TimeCopilot]] / [[@2026__Google Cloud Blog__AI in SRE - Where Google is Deploying Agentic AI to Improve Operations]] / [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]] / [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]] / [[@2026__Google Research Blog__TimesFM-3 - A Zero-Shot Foundation Model for Multivariate Forecasting]] - 関連 MOC: [[時系列基盤モデル - MOC]] / [[structures/LLM4SRE - MOC]] ## 出典 - [[@2025__arXiv__Performance of Zero-Shot Time Series Foundation Models on Cloud Data]](Huawei Cloudデータでのゼロショット性能検証) - [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]](原論文: アーキテクチャ・事前学習データ・ゼロショット評価・アブレーション) - [[@2025__arXiv__Cisco Time Series Model Technical Report]] - [[@2025__arXiv__Foundation Models for Time Series - A Survey]](Table 2/§4.1.4: decoder-only TSFM としての TimesFM) - [[@2025__arXiv__TimeCopilot]](MedianEnsemble 構成要素 / GIFT-Eval 上位モデル) - [[@2026__Google Cloud Blog__AI in SRE - Where Google is Deploying Agentic AI to Improve Operations]](Google SRE AI の異常検知モデル例として明示) - [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]](ライブベンチマークでの評価: 世代間ELO改善の確認) - [[@2024__arXiv__In-Context Fine-Tuning for Time-Series Foundation Models]](TimesFM-ICF: 文脈内ファインチューニングによる継続事前学習、§4 アーキテクチャ、§6 Monash/ETT 評価) - [[@2026__arXiv__Causal Analysis for Time Series Foundation Models]](因果分析: ドリフト過小評価バイアス、レジームスイッチ τ=25 で早期失敗、エネルギー放出 κ≥50 で完全失敗)