## Memo ![[2025__arXiv__Foundation_Models_for_Time_Series_Taxonomy.png]] *図 1: 時系列基盤モデルの多角的タクソノミー。アーキテクチャ、予測タイプ、データ表現、目的関数などの次元で分類されている (arXiv:2504.04011 より引用)。* ### 主要な基盤モデルの詳細比較 | モデル名 | アーキテクチャ | 特徴 | 開発元 | 備考 | | :--- | :--- | :--- | :--- | :--- | | **TimesFM** | Decoder-only | 自律回帰的なパッチ予測。1000億ステップで学習。 | Google | ゼロショット予測の SOTA | | **TimeGPT** | Transformer | 初の商用時系列生成モデル。API提供。 | Nixtla | 大規模民間データを使用 | | **Chronos** | Encoder-Decoder | 値を量子化してT5 NLPモデルで処理。 | Amazon | 確率的予測に強み | | **MOIRAI** | Encoder-Decoder | 多様な頻度・変数に対応可能な Masked Encoder-Decoder。 | Salesforce | ユニバーサルモデルを目指す | | **MOMENT** | Encoder-only | 初のオープンソース大規模基盤モデル。MTSM学習。 | CMU/UPenn | 異常検知や分類にも適性 | | **Lag-Llama** | Decoder-only | Llamaアーキテクチャを時系列に適用。 | ServiceNow | 確率的単変量予測 | ## Memo with LLM ### 論文情報 - **論文のタイトル**: Foundation Models for Time Series: A Survey - **著者と所属**: Siva Rama Krishna Kottapalli, Karthik Hubli, Sandeep Chandrashekhara (Dell Technologies), Garima Jain, Sunayana Hubli, Gayathri Botla (University of Massachusetts Lowell), Ramesh Doddaiah (Worcester Polytechnic Institute) - **カンファレンス/ジャーナル名**: arXiv (Preprint) - **発表年**: 2025年 ### 論文概要 本論文は、時系列分析（Time Series Analysis, TSA）における基盤モデル（Foundation Models, FMs）の最新動向を網羅したサーベイ論文です。NLPにおけるLLMの成功に触発され、時系列データに対しても大規模事前学習とファインチューニングのパラダイムが急速に浸透しています。本稿では、最新のTransformerベースのモデルを中心に、モデルアーキテクチャ、パッチ化技術、学習目的関数、予測の性質（決定論的か確率的か）などの多次元的なタクソノミーを提案し、主要な既存モデル（TimesFM, TimeGPT, Chronos, MOIRAI等）を詳細に比較・解説しています。 ### 詳細解説 #### 問題設定 時系列データは、**長期依存性（Long-range dependencies）**、**非定常性（Non-stationarity）**、**不規則なサンプリング**、**ノイズ**、そして**高次元性**といった固有の課題を持っています。従来のARIMAやLSTMなどのモデルは、特定のドメインやデータセットには適合しますが、データがスパースな場合や、全く新しい（未学習の）ドメインに対しては汎化性能（Zero-shot性能）が低いという限界がありました。時系列基盤モデルは、これらを「大規模な多様なデータセットでの事前学習」によって解決し、あらゆる時系列タスクに共通する「汎用的な表現」を獲得することを目指しています。 #### 提案手法（タクソノミーの詳細） 本サーベイでは、以下の設計軸に基づく分類体系（Taxonomy）を提案しています。 1. **アーキテクチャ設計 (Architecture Design)** * **Encoder-only**: 双方向の文脈を考慮した表現学習に適している。例：MOMENT, PatchTST。 * **Decoder-only**: 自律回帰的（Autoregressive）な次トークン予測による生成・予測に適している。例：TimesFM, TimeGPT。 * **Encoder-Decoder**: 入力シーケンスを表現に圧縮し、それを元に出力を行う。不規則な周期性への対応に強い。例：MOIRAI, Chronos。 * **LLM適応型 (LLM-based)**: 言語モデルの重みを固定または一部学習し、時系列データをテキスト埋め込み空間に射影して利用。例：Time-LLM, LLM4TS。 2. **データ表現とパッチ化 (Data Representation & Patching)** * **Point-wise**: 各タイムステップを個別のトークンとして扱う（計算コストが高く、局所的な文脈を捉えにくい）。 * **Patch-based**: 近接するタイムステップをグループ化して1つのトークンとする。情報の圧縮、長期依存性の捕捉、計算効率の向上のために現代のFMsでは標準的な手法。 3. **学習目的関数 (Objective Functions)** * **Masked Time Series Modeling (MTSM)**: シーケンスの一部を隠し、それを再構成する学習。表現学習（Encoder系）に多い。 * **Next Token Prediction (NTP)**: 次のパッチ/トークンを予測する学習。生成モデル（Decoder系）の主流。 * **Contrastive Learning**: 正例と負例を区別するように埋め込み空間を学習。 4. **変量の扱い (Univariate vs. Multivariate)** * **Channel-independent (CI)**: 各変数を独立に処理。変数の数に依存せず堅牢だが、変数間の相関を無視。 * **Channel-dependent (CD)**: 変数間の相互作用を考慮。複雑な多変量時系列に適しているが、スケーラビリティに課題。 #### 主要モデルの比較 本サーベイで議論されている主要モデルの特性は以下の通りです。 | モデル名 | アーキテクチャ | 特徴 | 開発元 | | :--- | :--- | :--- | :--- | | **TimesFM** | Decoder-only | 1000億超のタイムステップで学習。200Mパラメータ。ゼロショット予測に強み。 | Google | | **TimeGPT** | Transformer | 最初の商用時系列生成基盤モデル。大規模な民間データで学習。 | Nixtla | | **Chronos** | Encoder-Decoder | 時系列値を量子化し、T5ベースのNLPモデルで「言語」として処理。確率的予測に長ける。 | Amazon | | **MOIRAI** | Encoder-Decoder | 任意の頻度・変量に対応可能なMasked Encoder-Decoder。 | Salesforce | | **MOMENT** | Encoder-only | 初のオープンソース大規模時系列基盤モデル。T5のエンコーダーをベースに事前学習。 | CMU/UPenn | | **PatchTST** | Encoder-only | パッチ化とチャンネル独立性を導入し、Transformerの効率を劇的に改善した先駆的モデル。 | IBM等 | #### 新規性 1. **統合的なタクソノミー**: 単なるモデルの羅列ではなく、設計思想（目的関数やアーキテクチャの選択）に基づいた分類を初めて体系化した。 2. **設計選択の洞察**: 「なぜデコーダーのみが予測に適しているのか」「なぜパッチ化が必要なのか」といった技術的な意思決定プロセスを論理的に解説している。 3. **LLMとの融合**: 時系列データを数値として扱うか、言語として扱うかという哲学的な違いを対比させている。 #### 実験設定と結果の傾向 * **ゼロショット性能**: 最新のFMs（TimesFMやMOIRAI）は、特定のデータセットで100%のデータを使って学習した専用モデル（DLinear, PatchTST等）と、未学習の状態でも同等以上の精度を出すことが報告されている。 * **データスケーリング**: 学習データ量が増えるほど性能が向上するスケーリング則（Scaling Laws）が時系列でも確認され始めている。 * **ドメイン汎化**: 交通、エネルギー、気候など、異なるドメイン間での知識転移が、大規模事前学習によって可能になっている。 #### 強み (Strengths) * 時系列分野の最新情報を整理し、研究者が迷いやすい「どのアーキテクチャを選ぶべきか」という問いに答えるフレームワークを提供している。 * パッチサイズ、語彙数、目的関数など、実装上のハイパーパラメータが性能に与える影響を考察している。 #### 弱点・課題 (Weaknesses / Limitations) * **計算リソース**: 大規模なTransformerは推論コストが高く、リアルタイム性が求められるエッジデバイスでの利用には課題がある。 * **長期の忘却**: 非常に長いシーケンスを扱う際、コンテキストウィンドウの制限やアテンションの計算量の問題が残っている。 * **解釈性**: 基盤モデルが「なぜその予測をしたか」を説明することは、依然として困難。 ## Abstract Transformerベースの基盤モデルは、時系列分析における支配的なパラダイムとして浮上し、予測、異常検知、分類、トレンド分析、その他多くの時系列分析タスクにおいて前例のない能力を提供しています。本サーベイは、現在の最先端の事前学習済み基盤モデルの包括的な概要を提供し、それらをいくつかの次元にわたって分類するための新しいタクソノミーを導入します。具体的には、アーキテクチャ設計によってモデルを分類し、パッチベースの表現を活用するものと生のシーケンスを直接処理するものとを区別します。このタクソノミーには、モデルが確率的予測を提供するのか決定論的予測を提供するのか、また単変量時系列で動作するように設計されているのか、あるいはそのまま多変量時系列を処理できるのかといった点も含まれています。さらに、タクソノミーはモデルの規模と複雑さを網羅しており、軽量なアーキテクチャと大規模な基盤モデルの違いを浮き彫りにしています。本サーベイのユニークな側面は、訓練段階で採用される目的関数のタイプによる分類です。これらの視点を統合することにより、本サーベイは研究者や実務家のためのリソースとして機能し、現在のトレンドに関する洞察を提供し、Transformerベースの時系列モデリングにおける将来の研究のための有望な方向性を特定します。