# 時間-変量交互アテンション ## 定義 時間-変量交互アテンション(alternating temporal-variate attention)は、decoder-only な[[時系列基盤モデル]]が多変量予測を扱うためのアーキテクチャパターンである。パッチ化されたトークン列を「系列内の時間方向」と「同一時刻ステップの系列間(変量)方向」の2軸を持つ2次元グリッドとみなし、両方向のアテンション層を交互に重ねることで、時間的パターンと変量間相関を単一モデルで学習する。[[TimesFM]] の第3世代([[@2026__Google Research Blog__TimesFM-3 - A Zero-Shot Foundation Model for Multivariate Forecasting]])が採用する。 ## 2軸アテンションの構成 - 時間方向は厳密な因果マスクを持つ causal temporal attention。トークンは自身の系列内で過去のトークンのみを参照でき、未来へのデータ漏洩を防ぐ。 - 変量方向は full variate attention。同一時刻ステップの全系列のトークンを相互に参照でき、ある系列のイベント(例: プロモーション)が別系列(売上)に与える影響を学習する。 - 両アテンションは複数層にわたって交互に配置され、入出力の残差ブロックで挟まれる。 ## トークン構築における共変量種別の扱い - ターゲット系列と過去共変量系列は、単一パッチから直接トークンを構成する。 - 過去-未来(動的)共変量は「lookahead」戦略を取り、現在のパッチと未来のパッチを連結してトークン化することで、既知の未来シグナル(休日・計画済みイベント)をモデルに先読みさせる。 ## 未解決の問い - 変量数が増えたときの full variate attention の計算量スケーリング(全変量への総当たり)が実運用でどこまで許容されるか、[[時系列基盤モデル]] で言及される Group Attention 系(O(V) メモリスケーリング)の手法との比較検証が一次ソースには無い。 - [[Chronos-2]] の「raw variate 空間で直接相互作用する」設計との精度・効率トレードオフの直接比較が TimesFM-3 一次ソースには無い。 ## 未編纂の観察 ## 関連 - ソース: [[@2026__Google Research Blog__TimesFM-3 - A Zero-Shot Foundation Model for Multivariate Forecasting]] - エンティティ: [[TimesFM]] / [[Chronos-2]] - 概念: [[多変量時系列予測]] / [[時系列基盤モデル]] / [[Contiguous Patch Masking]] ## 出典 - [[@2026__Google Research Blog__TimesFM-3 - A Zero-Shot Foundation Model for Multivariate Forecasting]]