# Tiny Time Mixers (TTM) Vijay Ekambaram ほか(IBM Research、NeurIPS 2024)が提案した、100万パラメータから始まる超軽量な時系列基盤モデル群(原論文: [[@2024__arXiv__Tiny Time Mixers (TTMs) - Fast Pre-trained Models for Enhanced Zero Few-Shot Forecasting of Multivariate Time Series]]、arXiv:2401.03955)。自身らが同時期に提案した軽量アーキテクチャTSMixer([[TSMixer]]、KDD'23)をバックボーンに採用し、二次時間計算量の自己注意を持たないことでモデルサイズを大幅に削減した。 - adaptive patching(層ごとにパッチ長を変える)・diverse resolution sampling(高解像度データを平均化/間引きで低解像度化して増強)・resolution prefix tuning(解像度埋め込みを最初のパッチのprefixとして付加)の3機構により、異種解像度データセット(Monash・LibCityから約10億サンプル)での事前学習を1Mパラメータ規模で成立させた。 - multi-level modeling(チャネル独立なbackbone + チャネル混合可能なdecoder + exogenous mixer)により、既存の多くの軽量/大規模TS基盤モデルが欠く「チャネル相関・外生変数の後付け学習」を実現した。 - TTM_B(1M)・TTM_E(4M)・TTM_A(5M)・TTM_Q(Monashのみで事前学習、より小規模)の4バリアントを提供。ゼロショット予測でMoirai_L(311M)を4〜10%、TimesFM(200M)を19%、Chronos_B(201M)を17〜32%、それぞれ大幅に小さいモデルサイズで上回る。CPU推論時間はChronos_B比最大298倍高速で、GPUなしでも実用的に動作する。 - モデル重みはHuggingFaceで公開: 研究用途 [ibm/ttm-research-r2](https://huggingface.co/ibm/ttm-research-r2/)、企業利用(Apacheライセンス)は初期版 [ibm-granite/granite-timeseries-ttm-r1](https://huggingface.co/ibm-granite/granite-timeseries-ttm-r1)・最新版(推奨) [ibm-granite/granite-timeseries-ttm-r2](https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2)。 - 同じ著者陣(Ekambaram・Jati・Dayama・Mukherjee・Gifford・Kalagnanam ほか)が2026年にICLRで発表した診断タスク特化モデル [[TSPulse]] は、TTMと同じTSMixerバックボーンを継承しつつ、時間・周波数の両空間でのマスク再構成を時間的・スペクトル的・意味的の3ビューへdisentangleする設計へ発展させた。TTMが予測(forecasting)専用であるのに対し、TSPulseは分類・補完・異常検知・類似検索の4診断タスクに軸足を移している。(Source: [[TSPulse]]) - 論文自身の限界として、(1) forecasting専用でありMoment・GPT4TSのようなマルチタスク展開は未着手、(2) 非Transformerアーキテクチャゆえcontext lengthごとに別モデル(TTM_B/E/A)が必要で動的な長さ適応は未対応、(3) Lag-Llama・Moiraiが持つ確率的予測(probabilistic forecasting)に非対応で点予測のみ、の3点を挙げる。(Source: [[@2024__arXiv__Tiny Time Mixers (TTMs) - Fast Pre-trained Models for Enhanced Zero Few-Shot Forecasting of Multivariate Time Series]]) ## 関連 - [[時系列基盤モデル]] / [[多変量時系列予測]] / [[IBM Research]] / [[TSPulse]]