# UniTS [[Harvard University]]・[[MIT Lincoln Laboratory]]・[[University of Virginia]]が共同開発した統一マルチタスク時系列モデル([[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]]、NeurIPS 2024)。sample token・prompt token・task token(GEN/CLS)の3種のトークンでタスク仕様を符号化し、予測(forecasting)・補完(imputation)・異常検知(anomaly detection)という生成的タスクと、分類(classification)という識別的タスクを単一の共有重みモデルで扱う。時間方向・変量方向の両方に自己注意を適用するUniTSブロックと、動的線形演算子DyLinear、多ドメイン間の表現干渉を緩和するGate moduleを特徴とする。(Source: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]]) 38データセット(20予測+18分類)を単一モデルでco-trainingするマルチタスク設定で、iTransformer・TimesNet・PatchTST・GPT4TSといったタスク別/データセット別の専用モジュールを持つベースラインを上回り、38タスク中27タスクで最良となった。GENトークンを繰り返すことで任意の予測長へ直接多段予測でき、スライディングウィンドウ方式に対してMSEを最大10.5%改善しつつ推論を約3倍高速化する。自己教師あり統一マスク再構成事前学習により、モデルを凍結したままprompt tokenのみを学習するprompt learningが完全教師あり学習と同等以上の性能を達成する点、および補完・異常検知という事前学習で明示的に扱っていないタスクへもfew-shot fine-tuningで適応できる点が特徴。パラメータ数はUniTS-SUPで3.4M(GPT4TSの164.5Mの約1/48)。(Source: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]]) コードは https://github.com/mims-harvard/UniTS で公開されている。 ## 関連 - ソース: [[@2024__NeurIPS__UniTS - A Unified Multi-Task Time Series Model]] - エンティティ: [[Harvard University]] / [[MIT Lincoln Laboratory]] / [[University of Virginia]] - 概念: [[時系列基盤モデル]] / [[多変量時系列予測]]