> [!abstract] 概要(arXiv abstract の日本語訳) > 我々は、汎用の時系列分析のためのオープンソース基盤モデル群 MOMENT を紹介する。時系列データで大規模モデルを事前学習することは、(1) 大規模かつ一貫性のある公開時系列リポジトリの不在、(2) マルチデータセット学習を困難にする多様な時系列特性、という理由で難しい。さらに、(3) 特に限られたリソース・時間・教師情報のシナリオにおいてこれらのモデルを評価する実験ベンチマークは、依然として黎明期にある。これらの課題に対処するため、我々は Time series Pile と呼ぶ大規模かつ多様な公開時系列の集合を構築し、大規模マルチデータセット事前学習を可能にするために時系列特有の課題に体系的に取り組む。最後に、我々は先行研究を基に、限定教師情報の設定下で多様なタスクとデータセットにわたって時系列基盤モデルを評価するベンチマークを設計する。このベンチマークにおける実験は、最小限のデータとタスク固有のファインチューニングによる我々の事前学習済みモデルの有効性を実証する。最後に、我々は大規模事前学習済み時系列モデルについていくつかの興味深い経験的観察を提示する。事前学習済みモデル(AutonLab/MOMENT-1-large)と Time Series Pile(AutonLab/Timeseries-PILE)は https://huggingface.co/AutonLab で公開されている。 ## 論文情報 - タイトル: MOMENT: A Family of Open Time-series Foundation Models - 著者: Mononito Goswami・Konrad Szafer・Arjun Choudhry・Yifu Cai・Shuo Li・Artur Dubrawski - 所属: [[Auton Lab]], Robotics Institute, [[Carnegie Mellon University]](Goswami・Szafer・Choudhry・Cai・Dubrawski)、[[University of Pennsylvania]](Shuo Li) - 媒体: Proceedings of the 41st International Conference on Machine Learning(ICML 2024), PMLR 235。arXiv 初版投稿は 2024-02-06、最終版(v3)は 2024-10-10 - arXiv ID: 2402.03885 - コード: https://github.com/moment-timeseries-foundation-model/moment-research - モデル・データ公開: https://huggingface.co/AutonLab/MOMENT-1-large 、https://huggingface.co/datasets/AutonLab/Timeseries-PILE ## 概要 MOMENT は、マスク時系列予測タスクで事前学習した Transformer 基盤モデル群である。大規模かつ多様な公開時系列コーパス Time Series Pile を新規構築し、長期予測・短期予測・分類・異常検知・補完という 5 つの時系列分析タスクを、ゼロショットまたは軽量な線形プロービングで解けることを実証する。あわせて、モデルサイズのスケーリング挙動・クロスモーダル転移・時系列特性(トレンド・振幅・周波数)の学習内容など、大規模時系列基盤モデルの性質についても複数の経験的観察を提示する。 ## 問題設定 - **入力**: 単変量時系列 $T \in \mathbb{R}^{1 \times T}$(長さ $T=512$ に固定)とマスク $M \in \{0,1\}^{1 \times T}$。多変量時系列はチャネルごとに独立処理する(channel independence)。 - **前提条件**: 時系列は長さ・チャネル数・振幅・時間分解能が大きく異なり、テキストや画像と異なり大規模で一貫した公開コーパスが存在しない。 - **必要なデータ**: 多ドメインにまたがる大量の公開時系列。データ汚染を避けるため、学習・検証・テストを厳密に分離する必要がある。 ## 提案手法 ### アーキテクチャ - **全体構成**(Figure 3): 入力時系列を reversible instance normalization で正規化した後、長さ $P=8$ の disjoint パッチ $N=64$ 個に分割する(Masking → Patching → Encoding → Transformer Encoder → Reconstruction)。観測されているパッチは学習可能な線形射影で $D$ 次元埋め込みに、マスクされたパッチは学習可能なマスク埋め込み $\mathrm{[MASK]} \in \mathbb{R}^{1 \times D}$ に置き換える。 **Figure 3: MOMENTの全体構成** ![[_attachments/arxiv-2402.03885/fig03-architecture.png]] (Figure 3. 時系列はdisjointな固定長パッチに分割され、各パッチはD次元のパッチ埋め込みに写像される。事前学習時はパッチ埋め込みを学習可能なマスク埋め込み[MASK]で置換して一様ランダムにマスクし、軽量な再構成ヘッドで入力時系列を再構成できる埋め込みの学習を目指す。右側はTransformer Encoder内部(T5型: LayerNormから加法バイアスを除去しresidual接続の前段に配置、相対位置埋め込み)の構成。Source: Figure 3.) - **Transformer encoder**: Raffel et al. (2020, T5) の改変を踏襲——LayerNorm から加法バイアスを除去し、residual skip connection の前段に配置。相対位置埋め込み(Shaw et al., 2018)に加え、絶対正弦波位置埋め込み(Vaswani et al., 2017)も併用する(当初は偶然含めたが、両方の併用が予測精度を改善すると判明したため意図的に採用)。 - **軽量な予測ヘッド**: エンコーダと同サイズのデコーダではなく軽量な再構成/予測ヘッドを使うことで、タスク固有ファインチューニング時に学習可能パラメータ数を絞りつつエンコーダの高レベル特徴を保持する。 - **可変長・多チャネル対応**: 入力を固定長 $T=512$ に制限し、長い系列はサブサンプリング、短い系列は左側ゼロパディングする。パッチ化により計算量が系列長に対し線形になる。多変量時系列はチャネルごとにバッチ次元で独立処理する(先行研究と同じ知見: チャネル独立モデリングが多変量時系列に有効)。 - **正規化**: reversible instance normalization(Kim et al., 2022)で系列ごとの再スケーリング・センタリングを行い、時間分解能の異なる時系列に対応する(時間分解能そのものは明示的にモデル化しない——予測タスク以外では利用できないことが多いため)。 ### 事前学習: マスク時系列モデリング 学習時にパッチを一様ランダムに 30% マスクし、破損した系列を Transformer エンコーダに入力してパッチ表現を学習、軽量な再構成ヘッドで元の時系列を再構成する。目的関数は**マスクされたパッチのみ**についての平均二乗誤差(MSE)。マスクされたパッチはゼロで置き換えるのではなく、学習可能な特別な埋め込み $\mathrm{[MASK]}$ で置き換える。ゼロは値として情報を持ってしまいモデルの予測にバイアスを与えるため、マスク埋め込みを使うことでゼロショット時の再構成品質が向上する。 **Figure 10: ゼロマスクとマスク埋め込みの比較** ![[_attachments/arxiv-2402.03885/fig10a-etth1-zeromask.png]] ![[_attachments/arxiv-2402.03885/fig10b-etth1-maskembed.png]] ![[_attachments/arxiv-2402.03885/fig10c-weather-zeromask.png]] ![[_attachments/arxiv-2402.03885/fig10d-weather-maskembed.png]] (Figure 10. [MASK]トークンによるマスキングは、ゼロショット設定でMOMENTが時系列を再構成することを可能にする。ゼロは情報を持ちモデル予測にバイアスを与えるため、ETTh1とWeatherの2データセットについて左をゼロマスク・右を特別なマスクトークンでマスクして比較した(掲載順: ETTh1ゼロマスク→ETTh1マスク埋め込み→Weatherゼロマスク→Weatherマスク埋め込み)。マスク埋め込み使用時の方がModel outputがTargetに近く追従する。Source: Figure 10.) - **モデルサイズ**: Small(40M, 6層, $D=512$, 8ヘッド, FFN 2048)・Base(125M, 12層, $D=768$, 12ヘッド, FFN 3072)・Large(385M, 24層, $D=1024$, 16ヘッド, FFN 4096)の3種。いずれも全パラメータをランダム初期化。 - **最適化**: Adam(weight decay $\lambda=0.05$, $\beta_1=0.9$, $\beta_2=0.999$)、勾配クリップ 5.0、バッチサイズ 2048、コサイン学習率スケジュール(初期 $1\mathrm{e}{-4}$ → 最終 $1\mathrm{e}{-5}$)、gradient checkpointing、混合精度(bfloat16、数値不安定な演算のみ float32)、2 エポック学習。 - **計算資源**: 128 AMD EPYC 7502 CPU・503GB RAM・NVIDIA RTX A6000(49GiB)×8 のクラスタ。各 MOMENT バリアントは単一 A6000 上で学習(データ・モデル並列なし)。 ### Time Series Pile(データセット貢献) 13 ドメイン(Healthcare・Human Body・Nature・Audio・Power・Economics・Traffic・Weather・Facilities・Web Services・Synthetic・Sensors・Gait)、約 13M 系列、約 1.23B タイムスタンプ、20.085GB からなる公開時系列コーパス。4 つのタスク特化リポジトリを統合して構築する: - **Informer long-horizon forecasting datasets**(Zhou et al., 2021): ETT(h1/h2/m1/m2)・Electricity・Traffic・Weather・ILI・Exchange-rate の 9 データセット。 - **Monash time series forecasting archive**(Godahewa et al., 2021): 58 の公開短期予測データセット、10 万系列超。 - **UCR/UEA classification archive**(Dau et al., 2018): 7 カテゴリ(Image Outline・Sensor Readings・Motion Capture・Spectrographs・ECG・Electric Devices・Simulated Data)にまたがる 159 データセット。分類データセットの総観測数は 634,084,943、系列数は 290,226。 - **TSB-UAD anomaly benchmark**(Paparrizos et al., 2022b): 18 の異常検知データセット由来、ラベル付き異常を持つ 1,970 系列、総観測数 129,546,401。 **Figure 2: Time Series Pileのデータ分割** ![[_attachments/arxiv-2402.03885/fig02-timeseries-pile-splits.png]] (Figure 2. データ汚染を避けるため、各データセットをdisjointな学習・検証・テスト分割に分ける。作成者が定義済み分割を提供している場合はそれに従い、ない場合は学習60%・検証10%・テスト30%をランダムサンプルする。長期予測・異常検知データセット(長い1系列)は水平分割、短期予測・分類データセット(多数の短い系列)は系列単位の垂直分割を用いる。事前学習にはすべてのデータセットの学習分割のみを使用する。Source: Figure 2.) 汚染防止のため、乱数シードは事前学習からダウンストリーム評価まで一貫して 13 に固定する。 ### ファインチューニング設定 - **End-to-end fine-tuning**: 全パラメータを更新。 - **線形プロービング($\mathrm{MOMENT}_{LP}$)**: 再構成/予測ヘッド以外を凍結。 - **ゼロショット($\mathrm{MOMENT}_{0}$)**: 再構成ヘッドをそのまま保持し追加学習なしで利用(異常検知・教師なし表現学習・補完で使用)。 - 予測タスクでは再構成ヘッドを予測ヘッド(パッチ埋め込みを平坦化後に線形射影で予測ホライズン $H$ 次元へ)に置換する。 ## 新規性 先行研究(PatchTST・TimesNet・GPT4TS 等)は個別データセットでの学習・ファインチューニングに留まり、大規模マルチデータセット事前学習の効果は未検証だった(Wen et al., 2023)。また、ゼロショット予測(Oreshkin et al., 2021)や少数ショット分類(Narwariya et al., 2020)など限定教師情報下での時系列モデリングも研究が限られていた。MOMENT はこの 2 つの問いに同時に取り組み、(1) 十分な容量を持つモデルを大規模な無ラベル時系列コーパスで事前学習すれば限定教師情報下でも妥当な予測が可能であること、(2) Time Series Pile という具体的な大規模コーパスがそれを可能にする公開データとして十分であることを示した最初の研究である。 LLM を時系列に転用するアプローチ(GPT4TS・Time-LLM 等、Zhou et al. 2023; Jin et al. 2023)は数十億パラメータ規模でメモリ・計算コストが大きいのに対し、MOMENT は時系列専用にゼロから事前学習することで、(1) transformer が時系列でもクロスモーダル系列学習を解けること、(2) ランダム初期化の方が言語モデル重み初期化より低い事前学習損失に収束すること、(3) 時系列専用に事前学習したモデルが多くのタスク・データセットで LLM ベースモデルを上回ることを実証的に示した。 ## 実験設定 - **タスクとベンチマーク**: Wu et al. (2023) のマルチタスクベンチマークを拡張し、長期予測・短期予測・分類・異常検知・補完の 5 タスクを限定教師情報の設定(ゼロショット優先、それ以外は線形プロービング)で評価する。 | タスク | 教師情報 | データセット | 指標 | 主な比較対象 | |---|---|---|---|---| | 長期予測 | 線形プロービング | ETT-h1/h2/m1/m2, Electricity, Traffic, Weather, Exchange, ILI | MSE, MAE | Time-LLM, GPT4TS, TimesNet, PatchTST, FEDFormer, DLinear, N-BEATS 等 | | 短期予測 | ゼロショット | M3/M4 コンペのサブセット | sMAPE | GPT4TS, TimesNet, N-BEATS, AutoARIMA, AutoTheta, AutoETS, Naive 等 | | 分類 | 教師なし表現学習 | UCR分類アーカイブ | Accuracy | GPT4TS, TimesNet, TS2Vec, T-Loss, TNC, TS-TCC, TST 等 | | 異常検知 | 線形プロービング/ゼロショット | UCR異常アーカイブ | Adj. Best F1, VUS-ROC | GPT4TS, TimesNet, Anomaly Transformer, DGHL, k-NN | | 補完 | 線形プロービング/ゼロショット | ETT-h1/h2/m1/m2, Electricity, Weather | MSE, MAE | GPT4TS, TimesNet, 線形/三次スプライン/最近傍補完 | (Table 1. 実験ベンチマーク。限定メモリ・計算・教師情報の設定を重視する。) - **TimesNet ベンチマークとの違い**: TimesNet が主に transformer 系のみと比較したのに対し、MOMENT は統計手法(ARIMA・N-BEATS・k近傍法)も含めて比較する。長期予測は Nie et al. (2023) を踏襲しコンテキスト長 $L=512$。分類・異常検知は UCR アーカイブから系統的に選んだより大規模なサブセットで実験する(分類は 512 未満の 91 データセット、異常検知は ドメイン網羅性を優先した 44 系列)。 - **ハイパーパラメータ探索は行わない**。特記なき限り MOMENT-Large をバッチサイズ 64、one-cycle 学習率スケジュール(ピーク学習率 $5\mathrm{e}{-5}$〜$1\mathrm{e}{-3}$)でファインチューニングする。 ## 実験結果 ### 長期予測(Table 2 抜粋) $\mathrm{MOMENT}_{LP}$ は多くのデータセット・ホライズンで最良に次ぐ性能を達成し、最良の PatchTST に僅差で次ぐ。例(ETTh1, H=96): MOMENT 0.387/0.410(MSE/MAE) に対し PatchTST 0.370/0.399、GPT4TS 0.376/0.397。TimeLLM・GPT4TS など LLM ベースの予測モデルを MOMENT が多くのデータセット・ホライズンで上回る。N-BEATS が複数の最近の手法を上回ることも報告されており、Transformer 系以外との比較の重要性を裏付ける。 ### 短期予測ゼロショット(Table 3) 統計手法(Theta・ETS)がゼロショット深層学習手法を上回る傾向。ただし一部データセットでは MOMENT・GPT4TS・N-BEATS が ARIMA より低い sMAPE を達成する(例: M4 Monthly で MOMENT 15.80 vs ARIMA 13.68 は ARIMA が優位だが、他の設定では逆転が見られる)。全タスク中、ゼロショット短期予測が最も改善余地の大きい領域と位置づける。 ### 分類(Table 4) 91 の UCR データセットにわたり、データセット固有ファインチューニングなしで $\mathrm{MOMENT}_{0}$ の表現に SVM を学習させると、平均精度 0.794・中央値 0.815 を達成し、時系列分類専用に個別データセットで学習した手法のうち 4 手法を除く全てを上回る。近年提案の GPT4TS・TimesNet はラベル付きで個別データセット学習したにもかかわらず低精度に留まる。 **Figure 5: UCR最大3データセットでの表現可視化** ![[_attachments/arxiv-2402.03885/fig05-pca-tsne-classification.png]] (Figure 5. Crop・ElectricDevices・ECG5000データセットにおけるMOMENTの学習表現のPCA・t-SNE可視化。色はクラスを表す。データセット固有のファインチューニングなしでも、MOMENTはクラスごとに異なる表現を学習する。Source: Figure 5.) ### 異常検知(Table 7、UCR異常アーカイブ248系列平均) $\mathrm{MOMENT}_{LP}$ が Adj. Best F1 平均 0.628・中央値 0.778 で最良、ゼロショット($\mathrm{MOMENT}_{0}$)も平均 0.585 で TimesNet(0.537)・GPT4TS(0.424)・Anomaly Transformer(0.492)・DGHL(0.425)を上回る。両設定とも異常検知専用の深層学習モデル 2 種を上回る。k-NN が VUS-ROC ではわずかに上回るが Adj. Best F1 は劣る。 ### 補完(Table 6) $\mathrm{MOMENT}_{LP}$ が全 ETT データセットで最小の再構成誤差を達成(例: ETTh1 MSE 0.139 vs GPT4TS 0.227、TimesNet 0.175)。ゼロショット設定でも、線形補完を除く全ての統計的補完手法を一貫して上回る。 ## 考察 ### MOMENT は何を学習しているか 合成正弦波でトレンド・振幅・周波数・位相を変化させ、系列レベル表現を PCA・t-SNE で可視化する実験を実施。 **Figure 4: 学習内容の分析(合成正弦波)** ![[_attachments/arxiv-2402.03885/fig04-pca-tsne-sinusoid.png]] (Figure 4. 合成正弦波の埋め込みの主成分分析から、MOMENTがトレンド・スケール・周波数・位相の微細な情報を捉えられることが示唆される。各実験で$c$が着目パラメータ(トレンド多項式の指数$c \in (1/8, 8)$、正弦波の周波数$c \in (1, 32)$等)を制御する。Source: Figure 4.) トレンド・振幅・周波数・位相の変化は表現空間の構造として明確に捉えられる一方、**垂直シフト(baseline shift)は区別できない**——reversible instance normalization が事前にセンタリングするため、シフト量の情報が失われる構造的な限界である。付録の Figure 11 では、学習されたマスク埋め込みが標準正規分布に近い数値で構成されること、および低周波数の時系列ほどゼロショット再構成誤差が小さいことも報告される(周波数 $c=64$ 付近で顕著な誤差スパイクが観測されるが、原因は未解明)。 **Figure 11: マスク埋め込みの分析** ![[_attachments/arxiv-2402.03885/fig11-mask-embedding-analysis.png]] (Figure 11. (左)MOMENTはゼロショット設定で低周波数の時系列をより良く再構成できる。(右)学習されたマスクトークンは標準正規分布から抽出された数値でおおむね構成される($R^2=0.9692$)。Source: Figure 11.) ### 大規模時系列モデルの性質 **Figure 1: マルチタスク性能の比較** ![[_attachments/arxiv-2402.03885/fig01-radar-multitask.png]] (Figure 1. MOMENTは長期予測・短期予測・分類・異常検知・補完の複数タスクを良好に解ける(詳細は付録F)。各手法の値はタスクごとにmin-max正規化して比較。Source: Figure 1.) - **モデルスケーリングは訓練損失を下げる**: LLM と同様、モデルサイズを大きくすると 1 エポック終了前の時点から訓練損失が低下する(Figure 6 左)。ダウンストリームの限定教師情報タスクでこの傾向がどこまで一般化するかは今後の課題とする。 - **クロスモーダル系列学習**: Lu et al. (2022) の知見(言語・視覚で事前学習した transformer は他モダリティの系列学習にも転用できる)を検証し、自己注意層と feed-forward 層を凍結したまま、MOMENT が画像(MNIST・CIFAR-10)・テキスト(IMDb)のビット系列分類で GPT-2・Flan-T5 と同等の精度を達成することを示した(Table 5: MNIST で MOMENT 0.982 vs GPT-2 0.975 vs Flan-T5 0.987、CIFAR-10 で MOMENT 0.620 vs GPT-2 0.711 vs Flan-T5 0.672)。 **Figure 6: 訓練損失のスケーリング挙動** ![[_attachments/arxiv-2402.03885/fig06-training-loss-scaling.png]] (Figure 6. 訓練損失(MSE)。縦の破線は1エポック終了点。全モデルはバッチサイズ131072パッチで学習。(左)大きいモデルほど低い訓練損失を得る。(右)ランダム初期化のMOMENT-smallは最終的にFlan-T5重みで初期化した同サイズモデルを上回る。Source: Figure 6.) - **ランダム初期化がLLM初期化を上回る**: 十分なデータがあれば、MOMENT をゼロから事前学習した方が、同サイズの言語モデル(Flan-T5)重みで継続事前学習するより低い訓練損失に収束する(Figure 6 右、付録 Figure 12)。これは Time Series Pile が時系列基盤モデルをゼロから学習するのに十分な規模の公開データを提供していることの裏付けでもある。 **Figure 12: 訓練損失(対数スケール含む、付録版)** ![[_attachments/arxiv-2402.03885/fig12-training-loss-appendix.png]] (Figure 12. Figure 6と同一の訓練損失比較に、対数スケール表示(右)を追加した付録版。対数スケールにすると、学習初期(処理パッチ数が少ない段階)でランダム初期化がFlan-T5初期化に対して持つ優位がFigure 6より大きく可視化される。Source: Figure 12.) ## 効率性(付録 Table 33、ETTh1・H=96) MOMENT(総パラメータ 347.53M、学習可能パラメータ 6.29M、メモリ 2079 MiB)は、LLM ベースの Time-LLM(総パラメータ 3623.71M、学習可能 254.37M、メモリ 4537 MiB)と比べて総パラメータは一桁小さく、学習可能パラメータは約 1/40。GPT4TS(82.28M/1.12M/1031 MiB)・TimesNet(0.89M/0.89M/683 MiB)はタスク固有の小規模ネットワークであるため総パラメータ自体は MOMENT より小さいが、MOMENT は線形プロービングにより学習可能パラメータを大きく絞りつつ性能で上回る。 ## 環境負荷とTransparency Index - 全 MOMENT バリアントの学習による推定炭素排出量: Small 31.14 tCO2eq・Base 31.13 tCO2eq・Large 40.83 tCO2eq。Small と Base は単一 GPU 上で同時学習したため、実消費電力ベースの実測合計は 71.97 tCO2eq(単純合計の上限 103.10 tCO2eq より少ない)。 - Foundation Model Transparency Index(Bommasani et al., 2023)の基準で自己評価し、学習コードベース・データソース・評価パイプラインを公開することで**上流(upstream)の透明性は高水準**と報告する一方、外部・第三者によるハーム評価や信頼性評価が時系列モデリングの文脈で未整備なため、**モデル透明性スコアは相対的に低い**と自己申告する。 ## 強み / 弱点・課題 **強み** - 単一の事前学習済みモデルで長期予測・短期予測・分類・異常検知・補完という異種の 5 タスクを、ゼロショットまたは軽量な線形プロービングだけで解ける汎用性。 - Time Series Pile という 13 ドメインにまたがる大規模公開時系列コーパスの構築・公開自体が、時系列基盤モデル研究のインフラとしての貢献を持つ。 - LLM 転用アプローチに比べ学習可能パラメータ・メモリ使用量が大幅に少ない(Table 33)。 **弱点・課題(論文が明示するもの)** - reversible instance normalization に起因して、**垂直シフトされた時系列を区別できない**(正規化により事前にセンタリングされるため)。 - 長期予測では最良の PatchTST にわずかに劣り、短期予測ゼロショットでは統計手法(Theta・ETS)に劣後する領域が残る。 - モデルの外部・第三者による有害性・信頼性評価が未整備であり、著者ら自身がヘルスケア等のハイステークスな意思決定に用いる前にタスク固有・ドメイン内データでの追加のファインチューニングと評価を推奨する。 - 学習・評価に使用したデータの品質・多様性への依存度が高く、偏ったデータに由来する予測の偏りのリスクを著者らが明示的に指摘する。