> [!abstract] 概要(abstract 和訳) > 事前学習済みトランスフォーマーや、テキストベースLLMを再プログラムした手法は時系列タスクで高い性能を示してきたが、最良のアーキテクチャはタスクごとに大きく異なり、多くのモデルは時系列予測のような特定領域に狭く特化している。予測的(predictive)タスクと生成的(generative)タスクという2種類の時系列タスクを単一モデルで統一することは依然として困難である。我々はUniTSを導入する。これはタスクトークン化を用いて予測的タスクと生成的タスクを単一の枠組みへ統合する、統一マルチタスク時系列モデルである。UniTSは修正版トランスフォーマーブロックを用いて汎用的な時系列表現を捉え、多様な動的パターン・サンプリングレート・時間スケールを特徴とする異種の多ドメイン事前学習データセットから、多様なタスク仕様とデータドメインを持つ幅広い下流データセットへの転移性を実現する。人間活動センサー・医療・工学・金融にまたがる38データセットで検証した結果、UniTSは12の予測モデル・20の分類モデル・18の異常検知モデル・16の補完モデル(テキストベースLLMを適応させたモデルを含む)と比較して優れた性能を達成する。UniTSはまた、新しいドメインやタスクに適用したときに強力なfew-shot能力とプロンプト能力を示す。単一タスク設定においても、UniTSはタスクに特化した競合手法を上回る。UniTSは統一時系列モデルへの道を切り拓き、タスクとドメインを横断して強力な性能と適応性を提供する。 ## 論文情報 - **タイトル**: UniTS: A Unified Multi-Task Time Series Model - **著者**: Shanghua Gao([[Harvard University]])・Teddy Koker([[MIT Lincoln Laboratory]])・Owen Queen([[Harvard University]])・Thomas Hartvigsen([[University of Virginia]])・Theodoros Tsiligkaridis([[MIT Lincoln Laboratory]])・Marinka Zitnik([[Harvard University]]、責任著者) - **媒体**: 38th Conference on Neural Information Processing Systems(NeurIPS 2024)。arXiv プレプリント arXiv:2403.00131(v3、2024-11-25更新) - **投稿日**: 2024-03-01(v1) - **arXiv**: https://arxiv.org/abs/2403.00131 - **コード**: https://github.com/mims-harvard/UniTS ## 概要 [[Harvard University]]・[[MIT Lincoln Laboratory]]・[[University of Virginia]]の共同研究による[[UniTS]]は、時系列の予測的タスク(分類)と生成的タスク(予測・補完・異常検知)を単一の共有重みモデルで統一するマルチタスク時系列モデルである。タスク仕様をトークンへ符号化する「タスクトークン化」と、可変個数の変量・可変長の系列を扱える「統一アーキテクチャ」により、38データセットを跨ぐマルチタスク学習・プロンプト学習・few-shot転移・単一タスク学習のすべてで、タスク別/データセット別の専用モジュールを持つ既存手法を上回る性能を報告する。 ## 問題設定 - 多ドメインデータセット集合 $\mathcal{D} = \{\mathcal{D}_i\}_{i=1}^{n}$ が与えられ、各 $\mathcal{D}_i = (\mathcal{X}_i, \mathcal{Y}_i)$ は時系列サンプル集合 $\mathcal{X}_i$ とその上に定義されたタスク $\mathcal{Y}_i$ からなる。 - 個々のサンプルは $x \in \mathbb{R}^{t \times v}$($t$=系列長、$v$=変量数)であり、$t$・$v$ はデータソースごとに異なる。 - $\mathcal{Y}_i$ は forecasting・classification・anomaly detection・imputation の4種のタスクを含み、同じタスク種別でも予測長やクラス数がインスタンスごとに異なる。 - **求める統一モデル $F(\mathcal{X}, \theta)$ の3要件(desiderata)**: (1) **異種時系列への対応**——可変の系列長・変量数に対して構造を変えずに動作する、(2) **汎用タスク仕様**——全タスク種別に適用可能な単一の写像 $F(\mathcal{X}, \theta) \to \mathcal{Y}$ を持つ、(3) **単一共有モデル**——タスクを跨いで重み $\theta$ を共有する。 ## 提案手法 **Figure 1: UniTSの全体像** ![[_attachments/arxiv-2403.00131/fig01-overview.png]] (Figure 1. UniTSは予測(Forecasting)・補完(Imputation)・異常検知(Anomaly Detection)・分類(Classification)という4種のタスクを単一モデルで扱う。入力は可変個数の変量 $C_1, \dots, C_N$ と可変長 $T_1, \dots, T_N$ を持つ異なるドメイン(例: Weather・ECG)の時系列で、38データセットを1つの共有モデルUniTSで処理する。Source: Figure 1.) ### アーキテクチャ UniTSは**sample token・prompt token・task token(GEN/CLS)**という3種類のトークンで時系列とタスクをともに符号化する。 **Figure 2: トークン化とUniTSアーキテクチャ** ![[_attachments/arxiv-2403.00131/fig02-architecture.png]] (Figure 2. a) 生成的タスク(予測)。入力はパッチ化されてsample tokenになり、GENトークンをUnpatchifyして予測ホライズンを推論する。b) 識別的タスク(分類)。CLSトークンでクラス情報を表現し、class embeddingsとの距離マッチングでクラスを予測する。c) UniTSアーキテクチャ。Time MHSA・Variable MHSA・Dynamic FFNをGate付きで直列に積み、GEN Tower・CLS Towerへ出力する。Source: Figure 2.) - **Sample tokens**: 入力サンプル $x \in \mathbb{R}^{t \times v}$ を非重複パッチサイズ $k$ で時間方向に分割し、線形層で長さ $d$ の埋め込みへ射影して $z_x \in \mathbb{R}^{s \times v \times d}$($s = t/k$)を得る。変量次元・時間次元を保持したまま学習可能な位置埋め込みを加える。 - **Prompt tokens**: $z_p \in \mathbb{R}^{p \times v \times d}$ は学習可能な埋め込みで、データセットとタスクごとに固有のセットを持つ。sample tokenに付加され、現在のサンプルに関する文脈情報をモデルへ与える。事前学習済みモデルの重みを凍結したまま、prompt tokenのみを学習することで新タスクへ適応できる(prompt learning)。 - **Task tokens**: GENトークン(forecasting・imputation・anomaly detectionで使用)とCLSトークン(classificationで使用、クラス数だけ用意)の2種。予測では、GENトークン $z_m \in \mathbb{R}^{1\times v \times d}$ を予測長 $f$ 回複製した $\hat{z}_m \in \mathbb{R}^{f\times v\times d}$ を sample token・prompt tokenと連結し($z_{\text{Fore}} = \text{CA}(z_p, z_x, \hat{z}_m)$、式1)、出力の $\hat{z}_m$ をunpatchifyして予測サンプル $\hat{x}$ を得る。これにより**入力長に依存しない直接多段予測**が可能になる。分類ではCLSトークン $z_c$ を連結し($z_{\text{Pred}} = \text{CA}(z_p, z_x, z_c)$、式2)、出力のCLSトークンとクラス埋め込み $z_e$ とのL2距離最小化(式3、$\text{Class} = \arg\min_i \|z_c - z_{e_i}\|_2$)でクラスを予測する。補完はGENトークンを欠損位置に挿入し、異常検知はTimesNetに倣い再構成誤差を異常基準とする生成タスクとして扱う。 **Time/Variable MHSA**: 時間方向と変量方向の両方に自己注意を適用する(既存手法は時間方向[[PatchTST]]か変量方向[[iTransformer]]のいずれか片方のみ)。Variable MHSAでは計算量削減のためQ・Kを時間方向で平均した $\hat{Q}, \hat{K} = \text{mean}_t(Q,K)$ を用いる(式8)。 **DyLinear(動的線形演算子)**: 標準FFNの最初の線形層を3カーネル畳み込みに置き換え、埋め込みをd/2ずつ2グループに分割し、片方にDyLinear演算子を適用する。DyLinearは重み $w \in \mathbb{R}^{w_{\text{out}} \times w_{\text{in}}}$ をバイリニア補間で $W_{\text{Interp}} = \text{Interp}(w) \in \mathbb{R}^{l_{\text{out}} \times l_{\text{in}}}$ へリサイズし(式4)、可変の時間長に対応した重み補間を行う。これによりトークン間の依存関係を捉える。 **Figure 5: Dynamic FFN** ![[_attachments/arxiv-2403.00131/fig05-dynamic-ffn.png]] (Figure 5. Dynamic FFNは Conv 3 → Split d/2 → 片方にDyLinear(重み補間) → Concat → Linear という構成を取る。Source: Figure 5.) **Gate module**: UniTSブロックの各コンポーネント(Time MHSA・Variable MHSA・Dynamic FFN)の出力後に配置し、入力を線形層+Sigmoidで得たスケーリング係数 $x_g$ で要素積する(式10: $z_{\text{out}} = \text{Sigmoid}(x_g) \cdot z_{\text{in}}$)。多ドメイン・多タスクデータ間の表現空間での干渉を緩和する。 **GEN Tower / CLS Tower**: 全ての生成タスク(予測・補完・異常検知)で共有されるGEN Towerと、全ての分類タスクで共有されるCLS Towerを持つ(既存手法のようなデータセットごとの専用ヘッドを使わない)。GEN Towerは $\hat{x} = \text{Proj}(\text{MLP}(z + \text{DyLinear}(z)))$(式11)で時系列サンプルを再構成し、CLS Towerはクロスアテンションでクラストークンを更新する(式12)。 **Figure 4: ネットワークアーキテクチャ全体** ![[_attachments/arxiv-2403.00131/fig04-network-architecture.png]] (Figure 4. 入力サンプルからトークン列(Prompt/Sample/GEN/CLS token)を構成し、UniTS Block ×N を通した後、共有GEN TowerとCLS Towerでそれぞれ生成タスクの予測結果と分類クラスへ変換する。CLS Towerはクロスアテンション+MLPでTop-1クラスを選ぶ。GEN TowerはDyLinear→MLP→Linear→Foldで時系列を再構成する。Source: Figure 4.) ### 学習(統一マスク再構成事前学習) UniTSは、prompt tokenベースの再構成損失とCLS tokenベースの再構成損失を組み合わせた統一マスク再構成事前学習損失(式5)を用いる。 $\mathcal{L}_{\text{pretrain}} = \mathcal{L}_{\text{MSE}}(H_{\text{GEN}}(z_p, z_x), x) + \mathcal{L}_{\text{MSE}}(\hat{H}_{\text{GEN}}(H_{\text{CLS}}(z_{\text{Pred}}), z_x), x)$ 前半はprompt token由来の再構成、後半はCLS Towerを通したCLS token由来の再構成で、いずれも入力サンプル $x$ の完全な再構成を目標とする。既存の事前学習(生成的または識別的のいずれか一方のみ)と異なり、バックボーンだけでなくGEN/CLS Towerを含む全コンポーネントを事前学習し、凍結モデル上でのprompt学習・zero-shot学習を可能にする。訓練時は元の系列長の50〜100%へランダムにトランケートした後、ランダムマスキング(時間軸上でランダムに70〜80%をマスク)と右マスキング(系列右側70〜80%をマスクし予測能力を強化)を等確率で使い分ける。 論文は4つの学習レジームを評価する: **UniTS-SUP**(38データセットで教師ありマルチタスク学習、$d=64$)、**UniTS-PMT**(自己教師あり事前学習後にモデル凍結、prompt tokenのみ教師あり学習、$d=128$)、**UniTS-FT**(事前学習済みモデルを新タスク/新データへ完全fine-tuning)、**UniTS-ST**(データセットごとに個別学習する単一タスク版、既存手法との公平比較用)。 ## 新規性 既存の統一時系列モデル(TimesNet・PatchTST・iTransformer・DLinear・FEDFormer・MICN・Pyraformer・Autoformer)はいずれも、多ドメイン時系列対応・汎用タスク仕様・単一モデルの3要件(Table 6)の少なくとも1つを満たさない。PatchTSTは変量非依存の処理で多ドメイン対応はできるが、予測長やクラス数ごとにタスク専用ヘッドが必要になる。LLMを時系列へ再プログラムする手法(GPT4TS・TEMPO・Time-LLM)も、大規模事前学習済みLLMに依存しつつデータセット/タスク固有モジュールを必要とする点で同様の制約を持つ。UniTSはタスクトークン化により、後付けのアーキテクチャ変更なしに汎用タスク仕様を実現し、時間・変量の両軸への自己注意とDyLinearにより多ドメイン対応を単一ネットワーク構造で達成する点が新規性である。 ## 実験設定 - **データセット**: マルチタスク学習には38データセット(20予測+18分類、人間活動・医療・機械センサー・金融ドメイン、系列長24〜1,152、変量数1〜963)を[[Monash Time Series Forecasting Archive]]・Time Series Classification Website・Time Series Library(TimesNet)から集約(訓練データ全体で3,500万タイムステップ超・6,000変量超)。few-shot学習は新規11データセット(分類6+予測9)、補完6データセット、異常検知5データセットを別途使用。単一タスク設定はTimesNet・iTransformerに倣い予測36データセット・分類10データセット・補完4データセット・異常検知5データセットを使用。 - **ベースライン**: 予測12手法・分類20手法・異常検知18手法・補完16手法(LLM再プログラム系のTEMPO・Time-LLM・LLM4TS・TEST・GPT4TS、トランスフォーマー系のMOMENT・iTransformer・PatchTST・Crossformer・FEDformer・Stationary・Autoformer、MLP系のTSMixer・RLinear・DLinear、頻度系のTimesNet等)。マルチタスク比較では専用モジュールに過度に依存する手法を除外し、iTransformer・TimesNet・PatchTST・Pyraformer・Autoformer・GPT4TSの6手法を強力なベースラインとして選定。 - **評価指標**: 予測・補完はMSE/MAE、分類はAccuracy、異常検知はPrecision/Recall/F1。 - **訓練詳細**: マルチタスク教師あり学習はバッチサイズ32・5エポック(実効バッチ1024)・初期学習率3.2e-2、自己教師あり事前学習は10エポック(実効バッチ4096)・初期学習率6.4e-3。A100-40G GPU 1〜2枚、最大48時間。タスク固有のハイパーパラメータチューニングは一切行わない。 ## 実験結果 ### 単一タスク設定(Table 1) UniTS-STは、予測92/196/336/720長の32データセットでMSE 28/32・MAE 27/32が最良(2位iTransformerに明確な差)。分類10データセットの平均精度75.0%は19手法中最良(2位TimesNet 73.6%比+1.4pt)。異常検知5データセットの平均F1 89.21はTimesNet(85.26)比+3.95ptで、Anomaly Transformer等15手法を上回る。補完16データセット(マスク率12.5/25/37.5/50%)ではMSE/MAEとも全データセットで最良。 ### マルチタスク設定(Table 2) 38データセット(20予測+18分類)を単一共有モデルで co-training した結果、38タスク中27タスクで最良となった。予測ではUniTS-SUPの平均MSE 0.439がiTransformer(0.466、-5.8%)を上回り、MAEも0.381 vs 0.394(-3.3%)。分類ではUniTS-SUP平均精度81.6%がTimesNet(80.9%)を+0.7pt上回る。パラメータ数48倍のGPT4TS(164.5M vs UniTS-SUP 3.4M)に対しても、予測MSEで0.439 vs 0.449(-2.2%)と優位を保つ。TimesNetは分類に強いが予測に弱く、iTransformerは逆に予測に強く分類に弱いという「タスク間の得意不得意の分断」がベースラインに共通する一方、UniTSは両タスクで頑健な性能を示す。 **Prompt学習は教師あり学習と同等以上**: SSL事前学習済みモデルを凍結してprompt tokenのみ学習するUniTS-PMTは、予測でMAE 0.379(教師ありUniTS-SUPの0.381より低い)を達成し、prompt学習の有効性を示す。 ### 直接多段予測(Figure 3・Figure 6) **Figure 3: 新しい予測長への直接多段予測** ![[_attachments/arxiv-2403.00131/fig03-multistep-forecasting.png]] (Figure 3. 訓練時の系列長からのオフセット(横軸)ごとのMSE。UniTSの直接多段予測(unify、緑の実線)は、iTransformer・PatchTST・TimesNetをスライディングウィンドウ方式(sliding)で拡張した場合(青・赤・橙)を一貫して下回る。UniTSの他3手法でのunify方式は"Unsupported"(直接多段予測非対応)。Source: Figure 3.) GENトークンを繰り返すことでUniTSは訓練済み系列長を超える任意の予測長へ、追加のモジュールなしに直接推論できる。offset +384(最長)で、スライディングウィンドウ方式のUniTSでもiTransformerを8.7%上回り(MSE 0.451 vs 0.494)、直接多段推論を使うとさらに差が広がり10.5%改善(0.442 vs 0.494)する。 **Figure 6: 平均推論ステップ数の比較** ![[_attachments/arxiv-2403.00131/fig06-inference-steps.png]] (Figure 6. UniTSの統一(直接多段)推論は常に1ステップで完了する(緑)のに対し、スライディングウィンドウ方式(青)は予測長の拡張とともにステップ数が増加し、+384では平均3.66ステップを要する。Source: Figure 6.) これは平均推論ステップ数を3.66→1へ削減し、約3倍の高速化に相当する。 ### Few-shot学習(Table 3・4・5) 新規ドメインの9予測+6分類データセットへの転移では、20%データ比率でUniTS-FTがiTransformer-FTに対し分類精度+8.8pt・予測MSE-5.7%。補完(25%マスク)ではUniTS-FTがiTransformer-FTを上回りMSE+12.4%・MAE+7.9%改善。異常検知ではUniTS-FTのF1が86.3(iTransformer-FT系列の最良PatchTST-FT 84.3を上回る)。いずれもUniTS-PMT(prompt tuningのみ)はUniTS-FTに迫る、または5%データ比率の予測では上回る性能を示し、データが乏しい状況でのprompt学習の有効性を裏付ける。 ### ゼロショット予測(Table 25) 共有プロンプト・GENトークンで訓練したUniTSは、訓練時に見ていない予測長・変量数を持つ5つの新規データセットへゼロショットで適用でき、LLMTimeに対しRiverデータセットでMSE 45.2%改善(0.456 vs 0.832)、推論速度は約106倍高速。 ### アブレーション(Table 15・17・22・23・24・26) - Time/Variable MHSAをそれぞれ除去すると精度・MSEが悪化(Table 22)、Dynamic FFNを標準MLPに置換またはDynamic FFN自体を除去すると同様に悪化(Table 23)、Gate moduleの除去でも悪化(Table 24)。いずれも各コンポーネントの寄与を裏付ける。 - Prompt tokenの数を0→5→10と増やすと精度・MSE・MAEが一貫して改善(Table 15)。 - 統一事前学習損失(式5)のうちCLS token由来の項を除くと分類精度が78.0%→33.1%へ激減し、prompt token由来の項を除くと予測MSEが0.471→0.967へ悪化する(Table 17)。両者がそれぞれ識別的・生成的能力の学習に不可欠であることを示す。 - UniTSのネットワーク構造(時間・変量の両軸self-attention+DyLinear+Gate)を標準Transformerに置き換えると、統一トークン化・co-training戦略を同じにしても精度81.6%→80.2%・MSE 0.439→0.468へ悪化(Table 26)し、トークン化戦略だけでなくネットワーク構造自体の寄与も確認された。 ### プロンプトトークンの分析(Figure 7・8・9) **Figure 7: データセット間のプロンプトトークン類似度** ![[_attachments/arxiv-2403.00131/fig07-prompt-similarity.png]] (Figure 7. 訓練済みプロンプトトークン間のコサイン類似度ヒートマップ(緑が濃いほど類似)。FaceDetectionとSelfRegulationSCP2(いずれもEEGデータ)のような同一ドメイン内のデータセットは高い類似度を示す一方、一部のドメイン外データセットも強い類似性を示す。Source: Figure 7.) **Figure 8・9: 訓練前後のプロンプトトークンのUMAP** ![[_attachments/arxiv-2403.00131/fig08-umap-before.png]] (Figure 8. 訓練前のプロンプトトークンのUMAP投影。データセットごとの明確なクラスタリングは見られない。Source: Figure 8.) ![[_attachments/arxiv-2403.00131/fig09-umap-after.png]] (Figure 9. 訓練後のプロンプトトークンのUMAP投影。同一データセット由来のトークンが明確にクラスタ化される。Source: Figure 9.) 訓練前のプロンプトトークンはデータセット間で無秩序に分散しているが(Figure 8)、UniTSでの訓練後は同一データセット由来のトークンが明確にクラスタ化される一方、一部の異なるデータセットのトークンが近接する(Figure 9)。これはプロンプトトークンがデータセット・タスク固有の文脈情報を獲得しつつ、ドメインを跨いだ類似構造も捉えていることを示唆する。 ### マルチタスク学習は単一タスク学習より頑健(Table 35) 同一ハイパーパラメータ下でマルチタスク学習と単一タスク学習を比較すると、マルチタスク学習が分類精度81.6% vs 65.3%・予測MSE 0.439 vs 0.464で明確に上回る。さらに単一タスク設定では一部の分類モデルが収束しない事例が生じたが、マルチタスクモデルにはこの問題が見られず、マルチタスク学習の頑健性を示している。 ## 考察 UniTSの実験結果は、時系列の生成的タスクと識別的タスクを1つの共有重みモデルで統一的に扱えることを示す。特にprompt学習が完全教師ありfine-tuningと同等以上の性能を達成する点は、統一マスク再構成事前学習によって獲得された表現が、タスク固有のprompt tokenだけで十分に活用可能であることを示唆する。直接多段予測は既存のスライディングウィンドウ方式に対する明確な効率・精度上の優位を提供する。一方で、著者らはZero-shot学習(訓練データに一切含まれない新規ドメインへの一般化)はfew-shot学習より本質的に難しい課題であり、本研究はfew-shot学習を主眼としたと述べている(Appendix G参照)。 ## 強み / 弱点・課題 **強み** - タスクトークン化により、後付けのアーキテクチャ変更なしに予測・分類・補完・異常検知を単一モデルで扱える。 - 単一タスク・マルチタスク・few-shot・ゼロショット・prompt学習という多様な学習設定のすべてで、タスク別/データセット別の専用モジュールを持つ既存手法を上回る。 - 直接多段予測により、スライディングウィンドウ方式より高精度かつ約3倍高速な推論を実現。 - パラメータ数がGPT4TS比で48分の1と小さいにもかかわらず、テキストベースLLM再プログラム手法を上回る性能。 **弱点・課題(Appendix M「Limitations and Future Directions」より)** - 使用データセット集合はUCR時系列分類アーカイブの一部の単変量データセットやPhysioNetの生理学的時系列など、利用可能な全ての時系列データセットを網羅していない。 - 本研究は主に「新しいデータ・タスクへの適応性」(prompt学習・few-shot学習)を通じてUniTSの汎化能力を実証しており、完全なゼロショット学習(訓練データに含まれない全く新規のデータへの一般化)は今後の課題として明示的に残されている。 ## 関連 - 概念: [[時系列基盤モデル]] / [[多変量時系列予測]] - エンティティ: [[UniTS]] / [[Harvard University]] / [[MIT Lincoln Laboratory]] / [[University of Virginia]]