# 時系列基盤モデルの教科書 — 前史から設計空間・スケーリング・エージェント層まで 本書は wiki が蓄積してきた 35 本超のソース(モデル論文・サーベイ・ポジションペーパー・システム論文)と関連 concept ページを横断し、時系列基盤モデル(Time Series Foundation Model, TSFM)を体系的に整理した教科書である。読者として「Transformer と LLM の基礎は知っているが時系列モデリングは専門でない」エンジニア・研究者を想定する。各主張は `(Source: [[...]])` で出典に遡及できる。数値を引用する際は付録 A の注意を参照のこと。 **読み方の指針**: 全体像を最短で得たいなら第 1 章 → 第 8 章の一覧表 → 第 11 章。設計に興味があるなら第 2〜7 章。運用・応用に興味があるなら第 9〜10 章。研究動向を追うなら第 11〜13 章。 --- ## 第 0 章　前史 — LLM 転用の 3 つの試みと専用モデルへの転回 TSFM の歴史は「LLM をそのまま時系列に使えないか」という問いから始まった。この試みは 3 段階に分けられる。 ### 0.1 自然言語テンプレート化 — PromptCast(2022) PromptCast は数値の入出力を自然言語文に変換し、時系列予測を文から文への言語生成タスクとして解く最初のパラダイムを定式化した。過去観測と日時を記述する文脈部・予測対象時刻を問う質問部・予測値を述べる回答部の 3 要素でプロンプトを組む。ファインチューニング済み Bigbird は気温予測(CT)で RMSE 6.351 と数値モデル最良の FEDformer(6.358)を上回り、ゼロショットでは数値モデルの多くが破綻する中で妥当な予測を継続した。一方 GPT-3.5-turbo は全指標で最悪(SG の欠損率 82.8%)であり、対話用の整列(アライメント)を経た LLM が数値予測に不向きであることが早くも露呈した。(Source: [[@2022__arXiv__PromptCast - A New Prompt-based Learning Paradigm for Time Series Forecasting]]) ### 0.2 桁列テキスト化 — LLMTime(2023) LLMTime は数値を桁の列(`3.14` → `3 1 4`)としてエンコードし、GPT-3 や LLaMA-2 70B が追加学習なしで時系列を外挿できることを示した。有効性の起源は、LLM が持つ簡潔性バイアス(Occam's razor)と反復バイアスが季節性・トレンドと構造的に一致することにある。桁列の離散トークン分布を連続密度へ変換する仕掛けにより、多峰・非対称・重裾の予測分布も表現できる。ただし GPT-4 は GPT-3 より悪化し(トークン化変更と RLHF による較正劣化)、アライメントが予測能力を損なうという知見は PromptCast の観察と一致する。(Source: [[@2023__NeurIPS__Large Language Models Are Zero-Shot Time Series Forecasters]]) ### 0.3 凍結転用 — One Fits All / FPT(2023) One Fits All は GPT-2 の自己注意と FFN を凍結したまま、位置埋め込みと層正規化のみ再学習する Frozen Pretrained Transformer(FPT)で、分類・異常検知・補完・予測など 7 タスクで当時の SOTA と同等以上に到達した。転移は GPT-2 固有でなく BERT・BEiT(画像事前学習)でも成立し、「系列処理能力はモダリティにある程度中立」という重要な観察を残した。(Source: [[@2023__NeurIPS__One Fits All - Power General Time Series Analysis by Pretrained LM]]) ### 0.4 転回 — 「専用が転用に勝る」 この路線に対する決定的な反証が 2 つ現れた。第一に、[[TimesFM]] は 200M パラメータという LLM より桁違いに小さな規模で、GPT-3 ベースの LLMTime をゼロショット Monash 幾何平均スケーリング MAE で 25% 以上改善した。第二に、Chronos は T5 の言語モデル重みで初期化しても、ランダム初期化と比べ統計的に有意な優位がないことを示し、[[MOMENT]] はさらに踏み込んで「ランダム初期化の方が低い訓練損失に収束する」と報告した。言語事前学習で得た知識は時系列トークンには有効に転移しない——ここから「時系列専用に大規模事前学習する」という TSFM の本流が始まる。(Source: [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]], [[@2024__arXiv__Chronos Learning the Language of Time Series]], [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]]) ただし後述する第 10 章・第 12 章のとおり、この知見は「LLM は時系列に無用」を意味しない。テキスト埋め込み空間は数値予測に転移しないが、言語推論の機構(注意パターン・思考連鎖の能力)は「時系列を読んで理解し説明する」タスクには転移する。数値予測は TSFM、読解・推論は LLM という階層的分業が 2026 年時点の構図である。(Source: [[@2026__arXiv__ARFBench - Benchmarking Time Series Question Answering Ability for Software Incident Response]]) --- ## 第 1 章　定義と設計空間 ### 1.1 TSFM とは何か — 2 つの定義 TSFM の定義には力点の異なる 2 系統がある。 - **狭義(ゼロショット中心)**: 大規模な多ドメイン時系列で事前学習し、ドメインごとの再学習やファインチューニングなしにゼロショット予測ができるモデル。実運用の観測システムは数百万〜数十億の系列を生成し、系列ごとの教師あり学習が非現実的であることが要請の根拠になる。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) - **広義(事前学習+適応)**: NLP 基盤モデルのパラダイムの時系列への拡張。多様な下流タスク(予測・異常検知・分類・補完)の汎用バックボーンとして機能し、大規模事前学習と特定タスクへのファインチューニングの 2 段階で達成する。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]] §2.4) この定義境界の上に立つのが [[UniTS]] である。38 データセットでの統一マスク再構成事前学習の後、プロンプト学習や少数ショットのファインチューニングで新規タスクへ適応する設計は広義には合致するが、著者ら自身が完全新規ドメインへのゼロショット汎化を今後の課題と明記しており、狭義の定義は満たさない。「TSFM」を名乗るモデル群に「真にゼロショットな汎用予測器」と「多タスク教師あり事前学習+軽量適応のフレームワーク」という異なる設計思想が混在している。(Source: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]], [[時系列基盤モデル]]) ### 1.2 競争軸の起点 — TimeGPT-1(2023) [[@2023__arXiv__TimeGPT-1|TimeGPT-1]] は 100B 点超の多ドメイン時系列で事前学習したエンコーダ・デコーダ Transformer をゼロショット推論し、月次 rMAE 0.727 で専用学習モデル(NHITS 0.738・TFT 0.752)を上回った。0.6 ms/系列という統計手法の約 1/1000 の推論速度は「精度とコストの両立」という実用的フレームを設定した。後続モデルが競う「ゼロショット精度」「再訓練不要の汎化」「推論コスト」という評価軸は、すべて TimeGPT-1 が 2023 年に定義したものである。ただし重みは非公開で、公開重み路線は Chronos・TimesFM 以降が開いた。(Source: [[@2023__arXiv__TimeGPT-1]]) ### 1.3 設計空間の座標系 — 6 次元タクソノミー+2 軸 サーベイは 15 モデルを 6 軸で分類する: (1) アーキテクチャ(非 Transformer/エンコーダ・デコーダ/encoder-only/decoder-only/LLM 適応)、(2) パッチ有無、(3) 目的関数、(4) 単変量/多変量、(5) 確率的/決定論的、(6) 規模。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]]) wiki の横断観察はこれに 2 軸を加える。第一に**タスク多様性**(予測特化か、[[UniTS]]/[[MOMENT]]/[[TSPulse]] のようなマルチタスク統一か)。第二に**訓練ワークフロー**(事前学習だけでなく、SFT・PEFT・強化ファインチューニングという事後学習の軸)。(Source: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]], [[@2026__techRxiv__From Pre-training to Post-training - A Survey on Time Series Foundation Models]]) 本書の第 2〜7 章はこの設計空間を軸ごとに掘り下げる。 --- ## 第 2 章　入力表現とトークン化 時系列は連続値・非有界・多スケールであり、「何を語彙にするか」が TSFM 設計の最初の分岐点になる。[[時系列トークナイゼーション]] は 5 方式に整理する。 ### 2.1 5 方式の比較 | 方式 | 代表 | 仕組み | 長所 | 短所 | |---|---|---|---|---| | スケーリング+均一量子化 | Chronos | 平均スケーリング後 $[-15,15]$ を 4096 ビンへ離散化、クロスエントロピーで分類として解く | 分布形状を仮定しない柔軟な確率表現 | 量子化誤差・範囲外クリップ・語彙サイズの収益逓減 | | 桁列テキスト化 | LLMTime | 数値を桁トークン列に分解 | 追加学習不要 | スケーリング逆転(GPT-4 で劣化) | | 自然言語テンプレート化 | PromptCast | 値と文脈をテンプレート文に埋め込む | 外生情報を自然に併記できる | 数値精度に限界 | | パッチ化 | TimesFM・Toto | 固定長パッチを線形射影/残差 MLP で連続埋め込み | 量子化誤差なし・重裾に強い・計算量削減 | エンコーダを一から学習 | | パッチ化+生成的損失 | Sundial | 連続パッチ+flow-matching で分布を直接生成 | 事前分布を指定しない確率予測 | 推論時に反復サンプリング(K=50) | (Source: [[時系列トークナイゼーション]], [[@2024__arXiv__Chronos Learning the Language of Time Series]], [[@2025__ICML__Sundial - A Family of Highly Capable Time Series Foundation Models]]) 2026 年には第 6 の方向として、有限スカラー量子化(FSQ)を持つベクトル量子化オートエンコーダ型の汎用トークナイザ UniTok(113M)が現れた。核心は次トークン予測(NTP)との整合に必要な**増分性**の形式化で、(1) 固定長プレフィックスから統計量を取るプレフィックス正規化(系列全体の統計を使う従来正規化は増分性を破る)、(2) 早い位置ほど細かい解像度を割り当てる漸進解像度因果エンコーダ、(3) 敵対的損失・ウェーブレット高周波整合を含む構造保持再構成損失、の 3 要素で実現する。スケール統計量は Float32 の 32 ビットを 4 ビット区切りの 16 進数トークンとして無損失符号化し、非有界なスケール範囲を固定語彙に収める。その上の UniTok-FM(129M、Qwen3 を時系列固有の改変なしに流用)は、類似パターンの複数系列をコンテキスト窓に連結した NTP で事前学習し、予測・少数ショット生成・少数ショット分類を訓練不要の文脈内推論で統一した。GIFT-Eval では Chronos(CRPS 0.652)を大幅に上回り Chronos-Bolt(0.574)と同等(プロンプト強化で 0.573)——同じ NTP 枠組みでもトークナイザの表現力が性能を決めるという「豊かなトークナイザが多タスク汎化を可能にする」設計原理の実証である。ただし予測特化 SOTA の Chronos-2(0.485)には及ばず、構造保持損失は生成品質に決定的だが予測には僅かなペナルティになるというタスク間トレードオフも抱える。(Source: [[@2026__arXiv__Time Series as Language - A Universal Tokenizer for General-Purpose Time Series Foundation Models]]) ### 2.2 正規化とスケール情報 パッチ化と対で必要になるのが正規化である。CPU 使用率(0〜100)とネットワーク帯域(数十億)を同居させるため、インスタンス正規化(RevIN 系)が事実上必須になる。Toto 2.0 は外れ値を対数的に圧縮しつつ符号を保つ `arcsinh((x-μ)/σ)`、Falcon-X は欠損をゼロ埋めせず観測値のみから統計量を計算する arcsine 変換を使う。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]], [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]]) ただし正規化は情報を捨てる操作でもある。[[TelecomTS]] は絶対スケール情報を明示的に埋め込む分岐(NME)のあり/なしを 5 アーキテクチャで比較し、スケール情報の追加がほぼ全モデル・全タスクで一貫して性能を向上させることを示した(Autoformer の根本原因分析で +30.4 ポイント等)。「正規化で失われる情報」は TSFM の設計上の盲点である。(Source: [[@2026__ICML__TelecomTS - A Multi-Modal Observability Dataset for Time Series and Language Analysis]], [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) ### 2.3 LLM との差異 — 7 つの相違点 decoder-only TSFM は LLM の設計思想を転用するが、実装は大きく異なる: (1) 離散語彙でなく連続パッチ入力、(2) 語彙上の softmax でなく連続値回帰/分位点出力、(3) 層正規化に加えインスタンス正規化が必須、(4) 時間軸のみでなく時間×変量の 2 軸注意、(5) 非自己回帰推論への脱却(1 パスで全ホライズン)、(6) 位置に加え時間粒度の埋め込み(frequency/resolution embedding)、(7) 次トークン予測でなく次パッチ予測。詳細は [[LM-vs-TSFM-decoder-only-差異]] を参照。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]], [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]]) --- ## 第 3 章　アーキテクチャ ### 3.1 encoder-only 対 decoder-only TSFM のアーキテクチャは decoder-only(TimesFM・Toto・Timer 系・Time-MoE)と encoder-only(MOMENT・Moirai・Falcon-X・Chronos-2)に大別される。長らく並列的な設計選択として観察されてきたが、[[Timer-XL]] がこの分岐に因果的説明を与えた。encoder-only は長コンテキストで性能劣化を起こす(ERA5 年次コンテキストで PatchTST の MSE 0.0745→0.1194)のに対し、decoder-only は次トークン予測が保つ causality(因果性)により劣化を緩和する。注意パターンの可視化では、decoder-only が直近コンテキストへ選択的に注意を向けるのに対し、encoder-only はノイズの多い離れた部分にも注意が分散する。(Source: [[@2025__ICLR__Timer-XL - Long-Context Transformers for Unified Time Series Forecasting]]) 一方 encoder-only 側も進化しており、Falcon-X は可変長制約に flexible context/horizon sampling で対処し、Chronos-2 は encoder-only のシングルパス分位点出力で自己回帰サンプリングを不要にした。両系統を同条件で比較した決定的な結果はまだない。(Source: [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]], [[時系列基盤モデル]]) ### 3.2 スパース MoE — 2 つの動機系統 FFN を Mixture-of-Experts(MoE)層に置換するアーキテクチャ変更が、異なる問題設定から独立に 2 度正当化された。 - **スケール動機(Time-MoE)**: 同一活性化パラメータの密モデル比で訓練コスト 78%・推論コスト 39% を削減しつつ、TSFM を初めて 2.4B 総パラメータへスケールさせた。Top-2 ルーティング+共有エキスパート、Huber 損失+補助均衡損失。(Source: [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]]) - **specialization 動機(Moirai-MoE)**: Moirai・TimesFM が採る「周波数」という人為的メタ特徴でのモデル分化の限界(同一頻度でも異パターン、異頻度でも同パターン、単一系列内の非定常)を出発点に、トークンレベルのデータ駆動 specialization の手段として MoE を導入。事前学習済み表現の k-means クラスタ重心でゲーティングする Token Clusters 方式が特徴で、アブレーションにより性能向上の主因が訓練目的の変更でなく MoE にあることを切り分けた。(Source: [[@2024__arXiv__Moirai-MoE - Empowering Time Series Foundation Models with Sparse Mixture of Experts]]) Moirai-MoE のルーティング可視化は、浅い層では頻度ごとに異なるエキスパート選択分布を示す一方、最終層ではほぼ全頻度が同一の少数エキスパートへ収束することを示した。TSFM が「頻度非依存表現」を獲得する過程を内部機序として直接観測した稀有な事例である。(Source: [[@2024__arXiv__Moirai-MoE - Empowering Time Series Foundation Models with Sparse Mixture of Experts]]) ### 3.3 disentanglement — 規模に抗する第 3 の軸 診断タスク(分類・補完・異常検知・類似検索)では、規模と別の軸が性能を決める。[[TSPulse]] は時間・周波数の両空間でのマスク再構成を時間的・スペクトル的・意味的の 3 ビューへ明示的に分離(disentangle)し、1M パラメータで 10〜100 倍大きい MOMENT・UniTS 等を 4 診断タスクで上回った。感度分析では時間埋め込みが位相シフトに高感度(歪み 130%)、意味埋め込みが欠損・ノイズ・位相のいずれにも頑健(4.6〜12%)であることを定量的に示す。予測(スケールが効く)と診断(disentanglement が効く)で性能決定要因が異なる可能性を示唆する。(Source: [[@2026__ICLR__TSPulse - Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis]], [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) この小型化路線の起点は、TSPulse と同じ IBM Research による [[Tiny Time Mixers (TTM)|TTM]](NeurIPS 2024)である。TTM は二次計算量の自己注意を持たない TSMixer(MLP-Mixer 系)バックボーンに、(1) レベルが進むごとにパッチ数を増やしパッチ次元を縮小する adaptive patching、(2) 高解像度データセットの平均化・間引きで低解像度データを人工生成する diverse resolution sampling、(3) 入力解像度の学習可能埋め込みを先頭パッチに連結する resolution prefix tuning、の 3 機構を組み込み、多様な解像度での事前学習を 1M パラメータ規模で成立させた。ゼロショット予測で Moirai_L(311M)を 4〜10%、TimesFM(200M)を 19% 上回り、CPU 推論は Chronos_B 比で最大 298 倍高速——「小型化で勝つ」路線を Toto 2.0 のスケーリング則確立より約 1 年半早く、しかも予測タスクで確立していた。(Source: [[@2024__arXiv__Tiny Time Mixers (TTMs) - Fast Pre-trained Models for Enhanced Zero Few-Shot Forecasting of Multivariate Time Series]]) ### 3.4 非自己回帰化と可変ホライズン LLM 流の 1 トークンずつの自己回帰生成は時系列では遅すぎるため、各モデルが独自の解を持つ: TimesFM は出力パッチ長を入力パッチ長より長く取り自己回帰ステップを削減、Time-MoE は複数ホライズン {1,8,32,64} への多解像度ヘッド+貪欲スケジューリング、Toto 2.0 は学習時の連続パッチマスク(CPM)により推論を完全シングルパス化(313M が 120M の Chronos-2 と同等レイテンシ)、Chronos-2 は将来パッチ埋め込みから 21 分位をシングルパスで直接出力する。(Source: [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]], [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]], [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]], [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) --- ## 第 4 章　事前学習データ ### 4.1 コーパスの系譜と規模 | コーパス | 規模 | 特徴 | |---|---|---| | TimeGPT-1(非公開) | 100B 点超 | 金融・IoT・気象等の多ドメイン | | TimesFM コーパス | 約 100B 点 | Wikipedia ページビュー約 300B 点が過半+Google Trends+合成 | | Chronos コーパス | 約 84B 点(89 万系列) | 実データ+TSMixup+KernelSynth(実:合成 = 9:1) | | LOTSA(Moirai 系) | 27B 点超 | 9 ドメイン | | Time-300B(Time-MoE) | 309B 点 | Nature ドメインが 90.5% を占める偏り | | TimeBench(Sundial) | 1,032B 点(1 兆点) | ERA5 系が最大 39.35% | | Toto 2.0 コーパス | 5.04 兆点 | 内部観測データ 42.5%+合成 57.5%、公開予測データ 0 | (Source: [[@2023__arXiv__TimeGPT-1]], [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]], [[@2024__arXiv__Chronos Learning the Language of Time Series]], [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]], [[@2025__ICML__Sundial - A Family of Highly Capable Time Series Foundation Models]], [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]], [[@2026__techRxiv__From Pre-training to Post-training - A Survey on Time Series Foundation Models]]) TimesFM が示した「公開ウェブデータ(Wikipedia ページビュー)だけで多ドメイン汎化を達成できる」という先例と、Time-300B の 90.5% が自然系列という偏りは、**汎用大規模コーパス対ドメイン特化コーパス**という戦略対比を形づくる。後者の代表が Datadog の [[Toto]]/[[BOOM]] で、事前学習の 43% を自社観測メトリクスが占める。(Source: [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]], [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]], [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) ### 4.2 合成データの技法 合成データは TSFM の汎化を支える第 2 の柱である。主な技法は 4 つ。 1. **KernelSynth(Chronos)**: ガウス過程カーネルのランダム合成で系列を生成。合成データ単体でも多くのゼロショットベンチで専用モデルに匹敵する。(Source: [[@2024__arXiv__Chronos Learning the Language of Time Series]]) 2. **TSMixup(Chronos)**: 複数系列の凸結合(混合比は Dirichlet 分布)。NLP/CV の MixUp の時系列版で、アブレーションでゼロショット性能を明確に底上げする。(Source: [[@2024__arXiv__Chronos Learning the Language of Time Series]]) 3. **Multivariatizer(Chronos-2)**: 単変量生成器の出力に依存構造(同時的・逐次的)を合成的に注入し、実世界の多変量データをほぼ使わずに多変量文脈内学習能力を付与した。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) 4. **PFN 系生成器(Toto 2.0)**: TempoPFN ベースの生成器による合成が事前学習の 57.5% を占める。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) ### 4.3 ベンチマーク漏洩(leakage)への対処 事前学習コーパスが巨大化するほど、評価データの混入が結果を汚染する。Cisco TSM は TimesFM 2.0 の学習コーパスに含まれるデータセットを除いた「non-leaking」版 GIFT-Eval で評価し、Falcon-X も事前学習と評価の重複回避を明記する。Toto 2.0 は公開予測データセットを事前学習に一切使わないことで汚染を構造的に排除し、汚染耐性ベンチ TIME でもスケーリングが成立することを示した——スケーリング則が単なる訓練データ記憶の結果でないことの証拠である。(Source: [[@2025__arXiv__Cisco Time Series Model Technical Report]], [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) --- ## 第 5 章　目的関数と確率的予測 ### 5.1 4 系統の目的関数 訓練目的関数は評価指標の二分(点予測の MASE 対 確率的較正の CRPS)と表裏で対応する。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]], [[時系列基盤モデル]]) 1. **点予測損失**: MSE(TimesFM・MOMENT・Timer 系)、Huber+補助均衡損失(Time-MoE)。実装が単純で速いが、不確実性を出せない。 2. **categorical(分類として解く)**: Chronos の量子化+クロスエントロピー。分布形状を仮定しない柔軟性を持つが、量子化誤差とクリップが構造的上限になる。(Source: [[@2024__arXiv__Chronos Learning the Language of Time Series]]) 3. **パラメトリック密度**: 負の対数尤度(Toto 1.0 の Student-T 混合・Lag-Llama)、混合分布(Moirai)。分布の形を仮定する分、その仮定が外れると較正がずれる。 4. **分位点(ピンボール)損失**: 各分位点を独立に直接学習する。Chronos-2(21 分位)・Toto 2.0(9 分位)・Falcon-X・Cisco TSM が採用し、2025〜2026 年の事実上の主流になった。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]], [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) Toto 2.0 が Student-T 混合(数値不安定)からピンボール損失へ移行した判断は象徴的である。パラメトリック密度は「山型の形状」を仮定するため、左に偏り右裾だけ長い分布では分位点が必ずずれるが、独立に学習する分位点ヘッドはデータの実際の形から各境界値を直接学べる。入門的な解説は [[分位点損失と区間予測]] を参照。(Source: [[@2026__Datadog__Toto-2.0-Time-Series-Forecasting-Enters-the-Scaling-Era]]) ### 5.2 第 5 の道 — flow-matching(Sundial) [[Sundial]] の TimeFlow Loss は、離散トークン化にもパラメトリック密度にも依存しない生成的目的関数である。Transformer 表現で条件付けた flow-matching により、ガウスノイズから速度場を積分して予測分布を直接生成する。同一バックボーン・同一事前学習規模のアブレーションで MSE 損失・拡散損失より一貫して低い MSE・CRPS を達成し、1 兆点の TimeBench で Time-MoE(点予測)・Chronos(categorical)・Moirai(パラメトリック)をいずれも上回るゼロショット SOTA を示した。(Source: [[@2025__ICML__Sundial - A Family of Highly Capable Time Series Foundation Models]], [[Flow Matching]]) ### 5.3 区間予測の実務的意味 確率的予測が実務で重要なのは、点予測では答えられない運用判断があるからである。アラート閾値(90 分位点超過なら統計的に 10% 以下の事象)、キャパシティプランニング(「90% の確率でピークは 95% 以下」)、異常検知(予測区間からの逸脱)がその典型で、観測(オブザーバビリティ)ドメインで CRPS が標準指標になっている背景でもある。(Source: [[@2026__Datadog__Toto-2.0-Time-Series-Forecasting-Enters-the-Scaling-Era]], [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) --- ## 第 6 章　多変量化と共変量 ### 6.1 channel independence の限界と cross-variate 機構の系譜 初期 TSFM の多くは変量を独立に扱う(channel independence)単変量モデルだった。「多変量化が次の主戦場」という認識は Toto 論文(2025)と Falcon-X(2026)が共通の出発点に据える。cross-variate 機構は 4 世代で進化した。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]], [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[多変量時系列予測]]) 1. **平坦化**(Moirai 1.0): 全変量を 1 系列に連結。計算量が変量数 $V$ に対し $O(V^2)$ でスケールしない。 2. **分解型注意**(Toto): 時間軸と変量軸の注意を約 11:1 で交互配置。 3. **Group Attention**(Chronos-2): 同一グループ内の同一パッチ位置のみで注意を計算し $O(V)$ を実現。グループ ID の割り当てだけで単変量・多変量・共変量付きの 3 モードを同一アーキテクチャで切り替える。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) 4. **プロトタイプルーティング**(Falcon-X): 変量を固定次元の潜在プロトタイプ空間へ写し $O(M \cdot C)$ に線形化。さらに softmax 注意が表現できない負の(拮抗的)依存を、差分機構による符号付き親和性で表現する。アブレーションでは負の親和性の除去が最大の性能低下要因だった。(Source: [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]]) この系譜とは別に、[[Tiny Time Mixers (TTM)|TTM]] の multi-level modeling は「後付け」という最小主義的な道を示す。バックボーンはチャネル独立のまま事前学習して凍結し、ファインチューニング時のみ decoder のチャネル混合と exogenous mixer(外生変数の既知未来値をラグ窓で混合)を有効化する。事前学習段階から変量間相互作用を組み込む Chronos-2・Falcon-X と対照的だが、外生変数を持つ実務データセット(Bike Sharing 等)で PatchTST・GPT4TS 等を 15〜44% 上回った。変量間依存をどの段階で学習するかも設計変数である。(Source: [[@2024__arXiv__Tiny Time Mixers (TTMs) - Fast Pre-trained Models for Enhanced Zero Few-Shot Forecasting of Multivariate Time Series]]) ### 6.2 多変量の利得はどこにあるか — Takens の埋め込み定理 Chronos-2 のアブレーションでは、多変量タスクでの文脈内学習の利得が共変量付きタスクより小さい。論文はこれを Takens の埋め込み定理(十分に長い履歴があれば単変量観測から多変量システムの状態を再構成できる)で解釈する。強力な単変量モデルは長い系列から多変量構造を暗黙的に捉えられるため、明示的な変量間情報共有の真価は、将来既知共変量という「非対称情報」の活用にある。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) > [!contradiction] 多変量機構の効果には未決着の対立がある > Falcon-X は「Group Attention の有無で GIFT-Eval 性能がほぼ変わらない」と批判する一方、Chronos-2 の一次出典は fev-bench の共変量付き 42 タスクで Skill Score 39.9→47.0 の改善を示す。評価タスク(多変量ターゲット予測か、将来既知共変量か)が異なり決着はついていない。(Source: [[多変量時系列予測]]) ### 6.3 「多変量対応」という言葉の罠 サーベイは channel independence のモデルも「複数系列を入力できる」という意味で多変量対応に数えるが、Falcon-X はこれを単変量的な退化として除外する。「複数系列を入力できる」ことと「変量間依存を学習する」ことは区別して読む必要がある。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]], [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[多変量時系列予測]]) --- ## 第 7 章　スケーリングと効率化 ### 7.1 スケーリング則の確立 — 「GPT-2 モーメント」 サーベイ(2025)は「大きいモデルが小さいモデルを下回ることがある」というスケーリングの失敗を TSFM の課題に挙げていた。[[Toto]] 2.0 はこれを正面から克服し、4M・22M・313M・1B・2.5B の 5 サイズで BOOM・GIFT-Eval・TIME の全ベンチにわたる単調かつ飽和なしのスケーリングを実証した——「TSFM の BERT モーメントから GPT-2 モーメントへ」。u-μP によるハイパーパラメータ転移が実験コストを削減した技術的裏付けを持ち、同時に 22M が旧 Toto 1.0(151M)と同等性能を出すパラメータ効率も示した。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]], [[@2026__Datadog__Toto-2.0-Time-Series-Forecasting-Enters-the-Scaling-Era]], [[@2025__arXiv__Foundation Models for Time Series - A Survey]]) Falcon-X も 59M→253M→591M で予測可能なスケーリングを報告し、Time-MoE は MoE により 2.4B へ到達した。ただし第 11 章のとおり、時系列の近似誤差には $O(1/\sqrt{T})$ の下界があり NLP/CV 型のスケーリング則が成立しないとする理論的反論も存在する。(Source: [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]], [[@2026__arXiv__Position - The Inevitable End of One-Architecture-Fits-All-Domains in Time Series Forecasting]]) ### 7.2 推論時最適化 — 学習不要ラッパー モデル改良と直交する軸が「どう使うか」である。SPRINT は既存 TSFM をブラックボックスのまま包み、移動平均でトレンドと季節に分解し、トレンドは間引いて TSFM に通し(実質コンテキストを $k$ 倍に拡大)、季節は外部で周期パターンを複製する。9 データセット・7 TSFM の平均で精度 +19%・メモリ 6.35 倍削減・推論 16.87 倍高速化を達成し、「精度と効率はトレードオフ」という通念を覆した。ゼロショット TSFM が高周波季節パターンの長期再現を苦手とする既存観察とも整合する。ただし時系列を固定解像度画像として扱う VisionTS には効率改善が効かず、アーキテクチャ軸が推論時最適化の適用可能性を決める。(Source: [[@2026__ICML__See More, Forecast Better and Faster - Enhancing Time Series Foundation Models via Inference-Time Plug-and-Play Downsampling]]) ### 7.3 継続事前学習(CPT) — 低コストな特化路線 新規モデルをゼロから作らず、既存 TSFM に小さなアーキテクチャ追加をして継続事前学習する道もある。Cisco TSM は TimesFM に特殊トークンと解像度埋め込みを足し、粗解像度(1 時間)と細解像度(1 分)を連結した多解像度コンテキストで CPT するだけで、観測ドメインの優位(1 分解像度で MAE 0.4788 対 Chronos-2 の 0.6023)と汎用能力の維持を両立した。ゼロからの学習や凍結スケジュールより CPT が最速で収束したと報告する。Toto・Falcon-X の大規模新規学習路線と対照的な、実践的な第 3 の道である。(Source: [[@2025__arXiv__Cisco Time Series Model Technical Report]]) --- ## 第 8 章　主要モデル各論 ### 8.1 一覧表 | モデル | 年 | 組織 | アーキテクチャ | 規模 | 目的関数 | 確率的 | 多変量 | |---|---|---|---|---|---|---|---| | TimeGPT-1 | 2023 | Nixtla | enc-dec | 非公開 | 非公開 | ○(コンフォーマル) | 共変量対応 | | TimesFM | 2024 | Google | decoder-only | 17M〜200M | MSE | × | × | | Chronos | 2024 | AWS | T5 enc-dec(量子化) | 20M〜710M | クロスエントロピー | ○(サンプリング) | × | | MOMENT | 2024 | CMU | encoder-only | 40M〜385M | マスク再構成 MSE | × | チャネル独立 | | UniTS | 2024 | Harvard 他 | 修正 Transformer | 3.4M | 統一マスク再構成 | × | ○(Variable MHSA) | | Moirai-MoE | 2024 | Salesforce | decoder-only+MoE | 活性 11M/86M | NLL(混合分布) | ○ | 平坦化 | | Time-MoE | 2025 | 複数 | decoder-only+MoE | 総 113M〜2.4B | Huber | × | チャネル独立 | | Timer-XL | 2025 | Tsinghua | decoder-only | 84M | MSE | × | ○(TimeAttention) | | Sundial | 2025 | Tsinghua | decoder-only+flow | 32M〜444M | TimeFlow(flow-matching) | ○ | × | | Toto 1.0 | 2025 | Datadog | decoder-only | 151M | NLL(Student-T 混合) | ○ | ○(分解型注意) | | Chronos-2 | 2025 | AWS | encoder-only | 120M | 分位点(21 分位) | ○ | ○(Group Attention) | | Cisco TSM | 2025 | Cisco/Splunk | decoder-only(CPT) | 500M | MSE+分位点 | ○ | × | | Toto 2.0 | 2026 | Datadog | decoder-only | 4M〜2.5B | 分位点(9 分位) | ○ | ○ | | Falcon-X | 2026 | Ant International | encoder-only | 59M〜591M | 分位点+直交損失 | ○ | ○(プロトタイプ) | | TSPulse | 2026 | IBM | TSMixer 系 | 1M | disentangled 再構成 | ×(診断特化) | ○ | | UniTok-FM | 2026 | SJTU/Huawei | トークナイザ+LLM(Qwen3) | 129M(+トークナイザ 113M) | NTP(離散トークン) | ○(自己回帰サンプリング) | × | (各行の出典は 8.2 の該当項目と frontmatter の sources を参照) ### 8.2 各モデルの位置づけ - **TimeGPT-1(2023)**: TSFM 研究の起点。ゼロショット精度・汎化・推論コストという競争軸を定義した。重み非公開。(Source: [[@2023__arXiv__TimeGPT-1]]) - **TimesFM(2024)**: 「専用が転用に勝る」を実証。Wikipedia ページビュー中心の公開データで 200M・decoder-only・パッチ入力の標準形を確立。確率的予測と共変量は未対応のまま残した。(Source: [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]]) - **Chronos(2024)**: 「時系列の言語化」路線の代表。量子化+クロスエントロピーで LLM アーキテクチャを無改造流用し、T5 Mini(20M)でも Moirai Large(311M)を上回った。TSMixup・KernelSynth という合成データ技法も遺産。(Source: [[@2024__arXiv__Chronos Learning the Language of Time Series]]) - **MOMENT(2024)**: 予測特化でないマルチタスク TSFM の最初期例で、encoder-only マスク再構成系譜の起点。Time Series Pile(13 ドメイン・約 13M 系列)を公開。(Source: [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]]) - **UniTS(2024)**: サンプル・プロンプト・タスクの 3 種トークンで生成的タスク(予測・補完)と識別的タスク(分類)を単一共有重みに統一。バックボーン凍結+プロンプト学習のみで全パラメータのファインチューニングに匹敵(MAE 0.379 対 0.381)。3.4M と GPT4TS の 1/48 の規模。ゼロショット汎化は未達で、TSFM の定義境界に立つ。(Source: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]]) - **Moirai-MoE(2024)**: 周波数別射影を廃した単一射影+スパース MoE で、トークンレベルの自動 specialization を実現。Chronos 比で最大 65 分の 1 の活性化パラメータで上回る。(Source: [[@2024__arXiv__Moirai-MoE - Empowering Time Series Foundation Models with Sparse Mixture of Experts]]) - **Time-MoE(2025)**: MoE による初の Billion 級 TSFM(総 2.4B)。Time-300B コーパスも公開。点単位トークン化+多解像度予測ヘッド。(Source: [[@2025__ICLR__Time-MoE - Billion-Scale Time Series Foundation Models with Mixture of Experts]]) - **Timer-XL(2025)**: 変量依存行列と時間因果マスクのクロネッカー積で多変量次トークン予測を定式化。decoder-only の長コンテキスト優位を機序レベルで実証し、ERA5 長コンテキストベンチも新設。(Source: [[@2025__ICLR__Timer-XL - Long-Context Transformers for Unified Time Series Forecasting]]) - **Sundial(2025)**: Timer-XL と同じ Tsinghua 研究室が、同じ decoder-only 骨格に flow-matching(TimeFlow Loss)を載せた。連続値のまま事前分布を指定しない確率的予測を実現し、1 兆点の TimeBench で学習。(Source: [[@2025__ICML__Sundial - A Family of Highly Capable Time Series Foundation Models]]) - **Toto 1.0 / BOOM(2025)**: 観測データ特化の代表。観測メトリクスの統計的特性(分布外・裾の重さ)を直視した 4 コンポーネント設計で、BOOM(2,807 系列・系列あたり中央値 60 変量)と GIFT-Eval の双方で当時の首位。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) - **Chronos-2(2025)**: 単変量・多変量・共変量付きを単一モデル・単一推論パスで扱う「universal forecasting」。fev-bench 勝率 90.7%。多変量能力を合成データのみで獲得した最初の本格事例。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) - **Cisco TSM(2025)**: TimesFM からの継続事前学習+多解像度入力という低コスト特化路線。事前計算済みロールアップを活用できる実運用適合性が特徴。(Source: [[@2025__arXiv__Cisco Time Series Model Technical Report]]) - **Toto 2.0(2026)**: TSFM 初の本格スケーリング則(4M〜2.5B 単調改善)。公開予測データ不使用で汚染を構造的に排除。分位点ヘッド+シングルパス推論。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) - **Falcon-X(2026)**: 異種多変量の意味的整列を潜在プロトタイプ+符号付き親和性で解く encoder-only 591M。GIFT-Eval 全体首位(MASE 0.666/CRPS 0.453)。(Source: [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]]) - **TSPulse(2026)**: 1M パラメータの診断特化。disentangled multi-view 表現で 10〜100 倍大きいモデルを 4 診断タスクで凌駕し、GPU 不要の実時間推論を可能にした。(Source: [[@2026__ICLR__TSPulse - Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis]]) - **UniTok / UniTok-FM(2026)**: 増分性を満たす汎用トークナイザ(113M)+既製 LLM アーキテクチャ(Qwen3、129M)の 2 段構成で、予測・生成・分類を訓練不要の文脈内推論で統一した最初の TSFM。UCR-FewShot 分類では UCR データを事前学習に使わず、UCR で事前学習済みの MOMENT と同等精度(Acc 0.755 対 0.778)。14M→26M→129M のバックボーンで全タスク一貫改善し、GPT2/Llama2/Gemma2/Qwen3 のどれでも設定変更のみで動く。弱点は予測特化 SOTA に及ばない精度と単変量特化。(Source: [[@2026__arXiv__Time Series as Language - A Universal Tokenizer for General-Purpose Time Series Foundation Models]]) ### 8.3 世代交代の速さという注意 TSFM は世代交代が速く、同名モデルでも参照時点でスペックが異なる。サーベイ(2025-04)は Toto を 103M・1 兆点、Chronos を T5 ベース単変量と記すが、後の NeurIPS 2025 版 Toto は 151M・約 2.36 兆点、Chronos-2 は多変量対応で設計が異なる。モデル名だけでなくバージョンと参照論文の年次まで確認する必要がある。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]], [[時系列基盤モデル]]) --- ## 第 9 章　評価とベンチマーク ### 9.1 指標 — MASE と CRPS 点予測は MASE(スケール不変の絶対誤差)、確率的予測は CRPS(分布較正)が事実上の標準である。この二分は第 5 章の目的関数の二分と表裏で、点予測 TSFM は MASE/MSE で、確率的 TSFM は CRPS/WQL で測られる。複数モデルの比較には平均ランクも多用される。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]], [[@2026__arXiv__Falcon-X - A Time Series Foundation Model for Heterogeneous Multivariate Modeling]], [[@2025__arXiv__Foundation Models for Time Series - A Survey]]) ### 9.2 主要ベンチマーク - **Monash**: 初期のゼロショット評価の標準(TimesFM・Chronos が使用)。 - **GIFT-Eval**: 24 データセット・14.4 万系列超の総合ベンチマーク。事前学習用パートと評価パートを持ち、漏洩管理が論点になる。(Source: [[@2025__arXiv__TimeCopilot]]) - **fev-bench**: 100 タスク中 42 が共変量付き。共変量活用能力を測る。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) - **BOOM**: 実運用テレメトリのみから作られた観測ドメインベンチ(2,807 系列・32,887 変量・約 3.5 億点、系列あたり中央値 60 変量。GIFT-Eval の中央値は 1)。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]]) - **TIME**: 汚染耐性ベンチマーク。公開データを学習に使わないモデルの評価に使われる。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) - **ERA5 系(Timer-XL)**: 既存ベンチの短コンテキスト飽和に対処する長コンテキスト専用ベンチ。(Source: [[@2025__ICLR__Timer-XL - Long-Context Transformers for Unified Time Series Forecasting]]) ### 9.3 ベンチマーク評価の構造的課題 第一に飽和。ETT・Electricity・Weather では精度改善が頭打ちになり(Accuracy Law)、ハイパーパラメータ次第でテスト済み 8 手法のほぼ全てが「SOTA」になりうるという報告もある。第二に漏洩。第 4 章 4.3 のとおり、対処は non-leaking 部分集合の分離・公開データ不使用・自社運用データによる「未来の」テスト構築など多様化している。第三に評価スコープ依存性。同じ TSPulse が汎用ベンチ(TSB-AD)では首位、ソフトウェア運用ドメイン(AIOPS/MSCloud)では専用ベースラインと同等止まりという結果は、汎用ベンチの優位が専門ドメインへの転移を保証しないことを示す。(Source: [[@2026__arXiv__Position - The Inevitable End of One-Architecture-Fits-All-Domains in Time Series Forecasting]], [[@2026__ICLR__TSPulse - Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis]], [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]]) --- ## 第 10 章　予測以外のタスクと応用 ### 10.1 マルチタスク統一の系譜 「1 バックボーン・複数タスク」の設計思想は MOMENT(2024、エンコーダ+タスク別軽量ヘッド)→ UniTS(2024、タスクトークン)→ TSPulse(2026、disentangled multi-view)→ UniTok-FM(2026、訓練不要文脈内推論)へと発展し、重心は「大きな単一エンコーダ」から「小さな構造化表現」へ移動した。(Source: [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]], [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]], [[@2026__ICLR__TSPulse - Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis]], [[@2026__arXiv__Time Series as Language - A Universal Tokenizer for General-Purpose Time Series Foundation Models]]) ### 10.2 冷厳な事実 — 予測以外での優位は未確立 - **クラスタリング**: 84 手法の体系的ベンチマークで、Chronos・One Fits All・MOMENT の 3 基盤モデルはいずれも 10 年前の k-Shape を統計的に上回れなかった(MOMENT には UCR 事前学習によるデータ汚染の指摘もある)。(Source: [[@2025__PVLDB__Time-Series Clustering - A Comprehensive Study of Data Mining, Machine Learning, and Deep Learning Methods]]) - **異常検知**: ソフトウェア性能メトリクスでのゼロショット評価では、Chronos・TSPulse は AR・Isolation Forest 等の代表的ベースラインと同等だが、いずれのデータセットでも最良にならなかった。ただし訓練を要するベースラインの総所要時間(訓練+推論)は必ずしも短くなく、精度で並ぶならゼロショットの運用コスト削減が実務上の利点になりうる。(Source: [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]]) 予測タスクでスケーリング則が確立した(第 7 章)のと対照的に、下流タスクでは事前学習表現の優位がまだ実証されていない——これが 2026 年時点の横断的パターンである。(Source: [[時系列基盤モデル]]) ### 10.3 AIOps・オブザーバビリティへの応用 TSFM は AIOps の異常検知・障害分類の手法系統として整理されており、予測ベースの異常検知では TSFM の予測精度向上が下流の検知性能の入力になる。ただし観測データには固有の罠がある。TelecomTS はストリーミング起因の正常なスパイクが全モデルで偽陽性を誘発する失敗パターンを報告し、観測特化事前学習(Toto)をもってしても正常変動の弁別は不完全である。(Source: [[時系列基盤モデル]], [[@2026__ICML__TelecomTS - A Multi-Modal Observability Dataset for Time Series and Language Analysis]]) ### 10.4 第 3 の評価軸 — 時系列質問応答(TSQA) 予測(汎用 TSFM 研究)・検知(AIOps 研究)に続き、推論(TSQA)が第 3 の評価軸として加わった。予測専用に事前学習した Toto の埋め込みを VLM(Qwen3-VL 32B)へ射影して結合学習した Toto-Qwen3-VL は、インシデント対応向け TSQA ベンチ ARFBench で全モデル最良(63.9%)を達成した。時系列エンコーダをスクラッチ学習する従来の時系列 LLM(ChatTS 等)と異なり、事前学習済み TSFM の再利用が鍵という立場である。(Source: [[@2026__arXiv__ARFBench - Benchmarking Time Series Question Answering Ability for Software Incident Response]], [[@2025__VLDB__ChatTS - Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning]], [[TSFM-TSMLLM-TotoQwen3VL-比較と基礎]]) --- ## 第 11 章　批判と限界 ### 11.1 根本的批判 — 「One-Architecture-Fits-All の終焉」 汎ドメイン TSFM への最も強い批判は、単一アーキテクチャでドメイン特化 SOTA と汎ドメイン汎化を両立することは和解不能だとするポジションペーパーである。論拠は 3 つ: (1) 時系列は自己完結的でなく外部コンテキスト(気象の地理情報・金融のニュース)に駆動されるため、系列のみの統一構造は不可避のベイズ誤差を負う。(2) 時間窓 $T$ に対する近似誤差の下界 $O(1/\sqrt{T})$ により、NLP/CV 型のスケーリング則に頼れない。(3) 実務との乖離——Kaggle 上位手法(Optiver 3,225 チーム・Jane Street 4,085 チーム)は特徴量エンジニアリング+勾配ブースティング系であり、各ドメインのトップ会議論文も汎ドメイン TSF ニューラルネットワークを使わない。(Source: [[@2026__arXiv__Position - The Inevitable End of One-Architecture-Fits-All-Domains in Time Series Forecasting]]) この批判は「観測データ特化 TSFM が汎用を凌ぐ」という本書の流れ(Toto・Cisco TSM)と整合する一方、Toto 2.0 のスケーリング実証(第 7 章)や TSFM 研究の貢献(ベンチ整備・エージェント系への部品供給)を過小評価している面もある。また $O(1/\sqrt{T})$ の下界は指数的 β-mixing な過程の仮定に依存し、全ドメインで成立するとは限らない。(Source: [[時系列基盤モデル]], [[@2026__arXiv__Position - The Inevitable End of One-Architecture-Fits-All-Domains in Time Series Forecasting]]) ### 11.2 構造的な未対応領域 - **固定間隔サンプリングの仮定**: ほぼ全 TSFM が等間隔を仮定し、欠損はヒューリスティック補完に頼る。不規則時系列(医療・センサー)への対応は事後学習サーベイが独立軸として扱い始めたばかりの空白である。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]], [[@2026__techRxiv__From Pre-training to Post-training - A Survey on Time Series Foundation Models]]) - **カレンダー・外生情報の非統合**: 共変量対応は Chronos-2 系でようやく本格化したが、テキスト等のマルチモーダル入力は未対応が主流。(Source: [[@2025__arXiv__Chronos-2 - From Univariate to Universal Forecasting]]) - **解釈性**: 深層モデル一般と同様に低く、特徴帰属手法は部分的な解決に留まる。(Source: [[@2024__arXiv__A Decoder-Only Foundation Model for Time-Series Forecasting]]) - **観測データの分布外性**: 汎用 TSFM は観測テレメトリの重い裾・急変動に弱く、その根本原因がアーキテクチャか事前学習データ分布かは切り分けられていない。(Source: [[@2025__NeurIPS2025__This Time is Different - An Observability Perspective on Time Series Foundation Models]], [[時系列基盤モデル]]) --- ## 第 12 章　TSFM の外側 — LLM 推論・事後学習・エージェント層 ### 12.1 対抗パラダイム — LLM ベース時系列推論 TSFM と別系譜で、LLM の言語推論能力を時系列タスクへ転用する [[時系列推論]] パラダイムが並走する。訓練不要の極(TimeReasoner: DeepSeek-R1 の直接プロンプトで深層学習ベースラインと競合)と、RL 訓練の極(TimeOmni-1: SFT+GRPO で因果発見において GPT-4.1 を上回る)がある。ただし推論は両刃で、思考連鎖が長すぎると精度が下がり、反省機構を外すと非推論ベースラインより悪化する場合もある。時系列をテキストや画像に変換して LLM に読ませる方式には知覚ボトルネック(変換段階の情報損失)という固有の障壁があり、これが TSFM が自前エンコーダを持つことの設計上の優位を裏側から支える。(Source: [[@2025__KDD__Can Slow-thinking LLMs Reason Over Time - Empirical Studies in Time Series Forecasting]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]], [[@2024__arXiv__Towards Time-Series Reasoning with LLMs]], [[@2025__arXiv__AlphaCast - A Human Wisdom-LLM Intelligence Co-Reasoning Framework for Interactive Time Series Forecasting]]) ### 12.2 事後学習という新しい軸 事後学習サーベイは TSFM の訓練を「データセット—事前学習—事後学習」の 3 次元で体系化し、事後学習を教師ありファインチューニング・協調的ファインチューニング(PLC: LoRA/Adapter、MLC: 多モーダル統合、HLC: 知識蒸留)・強化ファインチューニング(GRPO 系の推論駆動型と PPO/DPO の非推論型)に整理する。NLP で確立した強化ファインチューニングの設計課題(credit assignment の脆弱性・SFT+RL の二段構成)が TSFM ドメインでも再現し始めている。(Source: [[@2026__techRxiv__From Pre-training to Post-training - A Survey on Time Series Foundation Models]]) ### 12.3 エージェント層 — TSFM を「ツール」として束ねる TSFM の精度向上は予測パラダイムの終着点ではない。[[エージェント型時系列予測]](ATSF)は予測を知覚・計画・行動・省察・記憶の反復プロセスへ再定式化し、TSFM を置換せず行動空間の 1 ツールとして呼び出す。実装は 3 パラダイムに分かれる。 - **Workflow**: [[TimeCopilot]] は複数 TSFM を単一 API に束ね、Chronos-2+TimesFM+TiRex の中央値アンサンブルで GIFT-Eval の確率予測 CRPS を各単体モデルより上に押し上げた(約 24 ドルの推論コストで)。単体最良モデル競争の上に「アンサンブル・オーケストレーション層」が乗ることの実証である。TimeSeriesScientist は基盤モデルなしの 21 モデルライブラリ+LLM 前処理で LLM 直接予測を平均 38.2% 上回った。(Source: [[@2025__arXiv__TimeCopilot]], [[@2025__arXiv__TimeSeriesScientist - A General-Purpose AI Agent for Time Series Analysis]]) - **AgenticRL**: [[Cast-R1]] は Chronos-2・TimesFM 等を統一予測インタフェースのツールとして公開し、RL でツール利用ポリシーを学習する。アブレーションでは Chronos-2 単独除去が揮発的なデータセットで MSE 22.5→55.4 と劇的に劣化し、TSFM がエージェントの推論では置換できない寄与を持つことを示した。(Source: [[@2026__arXiv__Cast-R1 - Learning Tool-Augmented Sequential Decision Policies for Time Series Forecasting]]) - **AgenticFlow**: 明示的計画と局所的学習のハイブリッド(位置づけの提案段階)。(Source: [[@2026__arXiv__Position Beyond Model-Centric Prediction - Agentic Time Series Forecasting]]) まとめると、2026 年時点の全体構図は 3 層構造である: **TSFM(数値予測の専門家)/ LLM 推論・TS-MLLM(読解と説明)/ エージェント層(両者をツールとして編成)**。三者は競合でなく階層的分業をなす。(Source: [[@2026__arXiv__Position Beyond Model-Centric Prediction - Agentic Time Series Forecasting]], [[TSFM-TSMLLM-TotoQwen3VL-比較と基礎]]) --- ## 第 13 章　未解決の問い [[時系列基盤モデル]] の蓄積から、教科書の締めくくりとして主要な開問題を挙げる。 1. **アーキテクチャ**: encoder-only と decoder-only の同条件比較は未実施。Token Clusters ゲーティングの他モデル(LLM MoE 含む)への移植可能性も未検証。 2. **多変量と特化の関係**: 多変量モデリングの利得(Falcon-X)と観測データ特化の利得(Toto)は独立か相補的か。両者を統合した TSFM は未検証。 3. **スケール情報**: 入力正規化+逆変換、明示的埋め込み(NME)、事前学習データの多様性という設計空間の体系的比較が不在。 4. **ゼロショット×マルチタスク**: 教師ありマルチタスク統一(UniTS)と自己教師ありゼロショット汎化(Chronos-2)を組み合わせた「ゼロショットで分類・補完・異常検知もこなす TSFM」は存在しない。 5. **不規則時系列**: 固定間隔仮定を外したネイティブな欠損・不規則サンプリング対応。 6. **推論時最適化の境界条件**: SPRINT 型の精度・効率同時改善は急変動・非定常な観測テレメトリでも成立するか。 7. **スケーリングの理論的限界**: Toto 2.0 の実証と $O(1/\sqrt{T})$ 下界の理論的批判はどう和解するか。 8. **エージェント層との相互作用**: 高精度 TSFM ほどエージェントの省察・再計画の余地が縮むのか、3 実装パラダイムの同一プロトコル比較も未着手。 (Source: [[時系列基盤モデル]], [[多変量時系列予測]], [[エージェント型時系列予測]]) --- ## 付録 A　数値引用時の注意 - 本書の性能数値はすべて各ソースページ経由の転記であり、原論文の評価設定(ゼロショット/ファインチューニング、コンテキスト長、ベンチマークのバージョン)に依存する。異なる行の数値を直接比較しないこと。 - TSFM は世代交代が速く、同名モデルの規模・データ量が版により異なる(例: Toto 103M/1 兆点 → 151M/2.36 兆点)。数値を引くときは参照論文の年次まで確認する(第 8 章 8.3)。 - GIFT-Eval 系の数値は leakage 管理(non-leaking 部分集合か否か)により変わる。leaderboard の順位は評価時点のスナップショットである。 - UniTok-FM の GIFT-Eval 数値(CRPS 0.573〜0.591)は一般 TSFM としての比較であり、予測特化モデル(Chronos-2 の 0.485 等)との直接比較は評価目的が異なる点に注意。 ## 関連 - 概念: [[時系列基盤モデル]]・[[時系列トークナイゼーション]]・[[多変量時系列予測]]・[[LLM時系列アプローチ]]・[[時系列推論]]・[[エージェント型時系列予測]]・[[Mixture-of-Experts]]・[[Flow Matching]] - 姉妹ページ: [[LM-vs-TSFM-decoder-only-差異]]・[[TSFM-TSMLLM-TotoQwen3VL-比較と基礎]]・[[分位点損失と区間予測]]・[[Toto-2.0-vs-1.0-差分]]・[[Toto-2アーキテクチャ比較-他TSFMとの特徴]] - MOC: [[structures/000 Index.md]]