## Memo ## Memo with LLM ### 論文情報 - **論文のタイトル**: Foundation Models for Time Series: A Survey - **著者と所属**: - Siva Rama Krishna Kottapalli (Dell Technologies) - Karthik Hubli (Dell Technologies) - Sandeep Chandrashekhara (Dell Technologies) - Garima Jain (University of Massachusetts Lowell) - Sunayana Hubli (University of Massachusetts Lowell) - Gayathri Botla (University of Massachusetts Lowell) - Ramesh Doddaiah (Worcester Polytechnic Institute) - **カンファレンス/ジャーナル名**: arXiv preprint（査読前） - **発表年**: 2025年（2025年4月5日提出） ### 論文概要 [[Transformer]]ベース[[ファウンデーションモデル|基盤モデル]]は時系列分析における主要なパラダイムとして台頭し、予測、異常検知、分類、トレンド分析などのタスクにおいて前例のない能力を提供している。本サーベイ論文は、現在の最先端の事前学習済み基盤モデルの包括的概観を提供し、複数の次元でそれらを分類する新しいタクソノミーを導入している。 ### 詳細解説 #### 問題設定 時系列データは金融、ヘルスケア、エネルギー管理、交通管理など多様な分野において重要な役割を果たしているが、従来の統計的手法やRNNベースのアプローチには限界がある。入力は時系列データ（単変量または多変量）で、出力は予測値、異常スコア、分類ラベルなど様々なタスクに対応する。必要なデータは時系列データセット、必要に応じてメタデータや外生変数を含む。 #### 提案手法 本論文は時系列基盤モデルの体系的な分類法を提案している。主要な分類軸は以下の通り： **アーキテクチャ設計**： - Non-Transformer: Tiny Time Mixers (TTM) - 軽量なTSMixerベースのアーキテクチャ - Encoder-decoder: TimeGPT - LLMとCNNを組み合わせたハイブリッドアーキテクチャ - Encoder-only: MOMENT, MOIRAI - マスク時系列予測タスクを用いた事前学習 - Decoder-only: Timer-XL, Time-MOE, Toto, Timer - 次のパッチ予測による生成的アプローチ **入力処理方式**： - パッチベース：時系列を固定長セグメントに分割してトークンとして処理 - ノンパッチベース：時系列全体を連続シーケンスとして処理 **その他の分類軸**： - 単変量 vs 多変量時系列への対応 - 確率的 vs 決定論的予測 - モデル規模（軽量 vs 大規模基盤モデル） - 目的関数（MSE, NLL など） #### 新規性 従来のサーベイ論文が広範囲な概観や特定応用に焦点を当てていたのに対し、本論文は方法論中心の詳細な分類体系を初めて提供している。特に、アーキテクチャ設計、パッチング戦略、目的関数、モデル規模などの重要な設計選択を体系的に分析している点が新しい。また、Transformerの革新（注意機構、並列化可能性）が時系列分析に与える影響を詳細に考察している。 #### 実験設定 本論文はサーベイ論文のため、独自の実験は行っていない。代わりに既存文献から各モデルの性能を整理・比較している。評価は主に予測精度、計算効率、スケーラビリティの観点から行われている。具体的なデータセットとしては、航空会社乗客数データ、Apple株価データなどが例として示されている。 #### 実験結果 個別の数値実験結果は報告されていないが、以下の重要な知見が整理されている： - Transformerベースモデルは従来のRNN/LSTMよりも長期依存関係の学習に優れる - パッチベースアプローチは局所的・大域的パターンの両方を効率的に捉える - 基盤モデルのアプローチにより、タスク固有の開発努力が大幅に削減される - 事前学習により、データが少ないタスクでも優れた性能を達成できる 論文は時系列基盤モデルの現状を体系的に整理し、今後の研究方向を明確に示している。特にTransformerアーキテクチャの多様性と、各アプローチの特徴を詳細に分析している点で価値のあるサーベイ論文である。 ## Abstract Transformerベース基盤モデルは、時系列分析において支配的なパラダイムとして台頭し、予測、異常検知、分類、トレンド分析、その他多くの時系列解析タスクにおいて前例のない能力を提供しています。本サーベイは、現在の最先端事前学習済み基盤モデルの包括的な概観を提供し、複数の次元にわたってそれらを分類する新しいタクソノミーを導入します。具体的には、パッチベース表現を活用するモデルと生のシーケンスに対して直接動作するモデルを区別して、アーキテクチャ設計によりモデルを分類します。タクソノミーはさらに、モデルが確率的または決定論的予測を提供するかどうか、および単変量時系列に対して設計されているか、多変量時系列を直接処理できるかどうかも含みます。さらに、タクソノミーはモデル規模と複雑さを包含し、軽量アーキテクチャと大規模基盤モデル間の違いを強調しています。本サーベイの独特な側面は、訓練段階で使用される目的関数のタイプによる分類です。これらの観点を統合することにより、本サーベイは研究者と実務者にとってのリソースとしての役割を果たし、現在のトレンドへの洞察を提供し、transformerベース時系列モデリングにおける将来研究の有望な方向性を特定しています。