Contiguous Patch Masking - yuuk1's Digital Garden

# Contiguous Patch Masking (CPM) ## 定義 Contiguous Patch Masking(CPM)は、時系列予測基盤モデルの学習時に**連続した将来パッチを可変長スパンでランダムマスク**することで、推論時に**シングルフォワードパスで全ホライズンを並列予測**できるようにするアーキテクチャ技術。Auer et al. (2025)のマスク戦略を xLSTM からトランスフォーマーへ適応したもの。 ## 問題と解決 **問題**: デコーダ専用 TSFM の自己回帰デコーディングは、予測ホライズン $H$、パッチサイズ $P$ に対して $K = H/P$ 回の逐次推論が必要。(1) レイテンシが $K$ に比例して線形増加、(2) 各ステップのエラーが蓄積するコンパウンドエラーの 2 つの問題がある。 **解決**: 各パッチにバイナリマスクチャネル $b_i \in \{0,1\}^P$ を付与し、マスク位置集合 $M$ に対して $\hat{p}_i = f_\theta(p_{1:N}, b_{1:N})|_i, \quad i \in M$ を一度の推論で予測する。学習時は $M$ をランダムな連続スパン(スパン長 $c \sim \mathcal{U}\{1{:}c_{\max}\}$、マスク確率 $p \sim \mathcal{U}(0, p_{\max})$)としてサンプル。推論時は $M = \{N+1, \ldots, N+K\}$ として全ホライズンを一度のフォワードパスで予測。トランスフォーマーでは Eq. (1) が 1 回の $f_\theta$ 呼び出しで解けるが、SSM では $|M|$ 回必要——CPM がトランスフォーマーで特に有効な理由。 ## ハイパーパラメータ Toto 2.0 のスイープ(Optuna+TPE)で最適値として $c_{\max}=16$、$p_{\max}=0.4$ を発見。TiRex のデフォルト($c_{\max}=5, p_{\max}=0.25$)より長いスパンを扱えることを示す。 ## ブロックデコーディング長ホライズンでシングルパスの整合性低下が懸念される場合、$B$ パッチごとにコミットするブロックデコードを追加サポート。各ラウンドで $p_i \leftarrow \text{median}(\hat{p}_i)$、$b_i \leftarrow 0$ を確定しつつ KV キャッシュを再利用。$B-1$ 回の追加フォワードパスで安定性を補強。Toto 2.0 の実験では約 768 ステップまでシングルパスが安定。長ホライズン実験(gt;$768 ステップ)ではブロックデコーディングを使用。 ## Toto 2.0 での効果 ([[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) - **推論レイテンシ**: 全サイズで Toto 1.0(自己回帰)比で大幅削減。313M が Chronos-2(120M)と同等のレイテンシで動作。 - **精度**: CPM は精度も同時に改善——長スパンマスクで将来の文脈的予測を学習することで品質向上。 - **長ホライズン安定性**: 2.5B が 8,192 ステップまで多スケール合成信号の構造を保持($r=0.818$)。自己回帰モデルはこのスケールで大幅に低下。 ## 横断的知見 - **CPM のトランスフォーマーへの適応が自己回帰の 2 つの問題(レイテンシ・コンパウンドエラー)を同時解決**: 元の設計(Auer et al. 2025)は xLSTM 向けだが、Toto 2.0 のトランスフォーマーへの適応でシングルパス推論が成立する。SSM では $|M|$ 回の計算が必要なため恩恵が小さいが、トランスフォーマーでは Attention が全位置を一度に処理するため真のシングルパスになる。アーキテクチャ種別によって CPM の効果が質的に異なる。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) ## 未解決の問い - 学習時のランダム連続スパンと推論時の「一定長の将来スパン」の分布差がどの程度性能に影響するか。$c_{\max}=16$ より長い学習スパンはさらに良いか。 - ブロックデコーディングの安定化閾値(約 768 ステップ)はモデルサイズ・学習コンテキスト長に依存するか。2.5B ではより長い安定範囲があるか。 - 他の TSFM(Chronos-2・TimesFM 等)に同じ CPM を適用した場合、精度とレイテンシはどの程度改善するか。CPM の有効性がトランスフォーマー TSFM 一般に適用できるか。 ## 関連 - エンティティ: [[Toto]] / [[Datadog]] - ソース: [[@2026__Datadog__Toto-2.0-Time-Series-Forecasting-Enters-the-Scaling-Era]] / [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]] - 概念: [[時系列基盤モデル]] / [[u-μP]] ## 出典 - [[@2026__Datadog__Toto-2.0-Time-Series-Forecasting-Enters-the-Scaling-Era]] - [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]