## Memo ## Memo with LLM ### 論文情報 - 論文のタイトル: Cisco Time Series Model Technical Report - 著者と所属: Liang Gou, Archit Khare, Praneet Pabolu, Prachi Patel, Joseph Ross, Hercy Shen, Yuhan (Ellen) Song, Jingze Sun, Kristal Curtis, Vedant Dharnidharka, Abhinav Mathur, Hao Yang (Cisco) - カンファレンス/ジャーナル名: arXiv (Technical Report) - 発表年: 2025年 ### 論文概要 本論文は、Ciscoが開発したユニバリアント（一変量）のゼロショット予測モデル「Cisco Time Series Model (TSM)」を紹介する技術レポートである。既存のデコーダーオンリー型モデル（TimesFM）をベースに、粗い解像度と細かい解像度の入力を同時に扱う「マルチレゾリューション」アーキテクチャを導入し、3000億以上のデータポイント（その半分以上はオブザーバビリティドメイン）で学習されている。実験の結果、オブザーバビリティデータにおいて従来の基盤モデルを凌駕する性能を示しつつ、汎用的な予測性能も維持している。 ### 詳細解説 #### 問題設定 時系列予測、特にITシステムの監視（オブザーバビリティ）におけるメトリクスデータの予測をターゲットとしている。 - **入力**: 過去の時系列データ。マルチレゾリューション設定では、低解像度（例：1時間間隔）と高解像度（例：1分間隔）のコンテキストペアを入力とする。 - **出力**: 将来の予測値（例：次の128ステップの1分間隔データ）。 - **課題**: 従来の時系列基盤モデルはオブザーバビリティ特有のパターン（急激な変化や長周期の季節性）を捉えきれないことがあり、また長いコンテキストを効率的に処理する仕組みが求められていた。 #### 提案手法 TimesFMを拡張した**Multiresolution Decoder-only Architecture**を提案。 - **マルチレゾリューション入力**: 粗い（Coarse）解像度の時系列と、細かい（Fine）解像度の時系列を連結して入力する。 - **特殊トークン (ST)**: 粗い系列と細かい系列の境界を示すために `[SEP]` のような特殊トークンを挿入。 - **解像度埋め込み (Resolution Embeddings, RE)**: 各パッチがどの解像度に属するかを示す学習可能な埋め込みを付加。 - **位置エンコーディングの不使用**: TimesFMの設計を踏襲し、相対的な順序はデコーダーの因果的アテンションに委ねる。 - **学習**: 5億パラメータのモデルを、300B（3000億）以上のデータポイントで学習。 #### 新規性 - **マルチレゾリューションの導入**: 異なる時間スケールの情報を明示的にモデルに与えることで、グローバルな傾向（低解像度）とローカルな詳細（高解像度）の両方をバランスよく捉えられるようにした点。 - **ドメイン特化型大規模学習**: 時系列基盤モデルとして最大級の学習データ量を持ち、特にオブザーバビリティデータを50%以上含めることで、ITインフラ監視の実用性を劇的に向上させた。 #### 実験設定 - **データセット**: Splunk Observability Cloudから抽出された独自の1分・5分解像度データ、および汎用ベンチマークのGIFT-Eval, Chronos。 - **ベースライン手法**: TimesFM (v2.0, v2.5), Chronos (v2, Bolt), Toto-1.0, AutoARIMA, Naive。 - **評価指標**: MSE, MAE, MASE, sMAPE, MSIS, CRPS。 #### 実験結果 - **オブザーバビリティ性能**: 1分および5分の監視データにおいて、Cisco TSMはすべての主要なベースラインを上回った。例えば、MAEにおいてTimesFM-2.5より約23%の改善（0.6265 -> 0.4788）を確認。 - **汎用性能**: GIFT-Evalベンチマークでもベースラインと同等以上の性能を維持し、ドメイン特化によって汎用性が損なわれないことを証明。 - **長いコンテキスト**: マルチレゾリューションを用いることで、コンテキスト長を伸ばした際（512から1024など）の予測精度向上が顕著であった。 #### 強み (Strengths) - **実用的なドメイン特化**: 実際の商用監視システム（Splunk）の膨大なデータで学習されており、実環境での信頼性が高い。 - **効率的な長長期依存性の獲得**: 低解像度データを併用することで、計算コストを抑えつつ長い過去の情報を活用できる。 #### 弱点・課題 (Weaknesses / Limitations) - **ユニバリアント限定**: 現状は一変量予測のみであり、多変量間の相関を直接扱う構造にはなっていない。 - **計算リソース**: 5億パラメータという規模は時系列モデルとしては巨大であり、推論時のリソース消費が課題になる可能性がある。 ## Abstract 我々は、ユニバリアント（一変量）のゼロショット予測モデルであるCisco Time Series Modelを紹介する。この時系列基盤モデルは、マルチレゾリューション入力を受け入れることを可能にする時系列モデルへの一般的なアーキテクチャ上の革新を、普及しているデコーダーオンリーの時系列モデル（TimesFM）に適用した結果である。得られたマルチレゾリューション・デコーダーオンリー・モデルは、3000億を超えるユニークなデータポイントでトレーニングされており、その半分以上はオブザーバビリティ（監視）ドメインに由来するものである。定量的および定性的な評価により、得られたモデルが汎用的な予測ベンチマーク（GIFT-Eval）において非常に類似した性能を維持しつつ、オブザーバビリティデータセットにおいて優れた性能を達成することを示し、マルチレゾリューション構造がモデルにとって長いコンテキスト入力に対してより正確な予測を行うことを可能にすることを示唆している。