@2026__ICLR__AutoDA-Timeseries - Automated Data Augmentation for Time Series

# AutoDA-Timeseries: Automated Data Augmentation for Time Series > [!abstract] 概要(abstract の日本語訳) > データ拡張は深層学習における基盤技術であり、表現学習と自動データ拡張(AutoDA)の双方で広く用いられている。表現学習では、拡張はタスク非依存の埋め込みを学習するための対照的なビューを構築するために使われる。一方 AutoDA では、拡張は下流タスクの性能を直接改善するように最適化される。しかしながら両パラダイムには重要な限界がある。表現学習は典型的に適応性の限られた二段階パイプラインに従い、既存の AutoDA フレームワークは主に画像データ向けに設計されているため、時系列固有の特徴を捉えるには効果的でない。これらの課題に対処するため、我々は AutoDA-Timeseries を提案する。これは時系列に特化した初の汎用 AutoDA フレームワークである。AutoDA-Timeseries は時系列特徴を拡張ポリシー設計に組み込み、拡張確率と強度の双方を単一段の end-to-end な様式で適応的に最適化する。分類・長期予測・短期予測・回帰・異常検知という5つの主要タスクにわたる大規模な実験を実施し、AutoDA-Timeseries が多様なモデルとデータセットにわたって強力なベースラインを一貫して上回ることを示した。 ## 論文情報 - タイトル: AutoDA-Timeseries: Automated Data Augmentation for Time Series - 著者: Zijun Dou¹, Zhenhe Yao¹, Zhe Xie¹, Xidao Wen², Tong Xiao¹(責任著者), Dan Pei¹ - 所属: ¹[[Tsinghua University]](Beijing, China)、²[[Alibaba Cloud]] Computing Company(Hangzhou, China) - 掲載: ICLR 2026(Published as a conference paper at ICLR 2026) - GitHub: https://github.com/NetManAIOps/AutoDA-Timeseries - Project page: https://netmanaiops.github.io/AutoDA-Timeseries - 謝辞: National Key Research and Development Program of China、China Postdoctoral Science Foundation。Changhua Pei([[Chinese Academy of Sciences]] Computer Network Information Center)への謝辞あり。 ## 概要時系列データにおけるデータ拡張の応用は、大きく2つのパラダイムに分かれる。 1. **表現学習(representation learning)**: 対照学習で拡張ビューを作り、タスク非依存の表現を学習する二段階パイプライン(例: TS2Vec, InfoTS, AutoTCL, AutoCL, CAAP, FreRA)。下流モデルへの適応性に限界があり、Stage 1 の対照的目的関数が Stage 2 の下流モデルからのフィードバックを受け取れない。 2. **自動データ拡張(AutoDA)**: 拡張ポリシーを下流タスクと共同最適化する一段階アプローチ。主に画像分野で発展(TANDA, AutoAugment, RandAugment, TrivialAugment, UniformAugment, A2Aug, ReAugment)。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig01-two-paradigms.png]] 既存 AutoDA を時系列にそのまま適用すると次の3つの課題が生じる(図1: 表現学習と AutoDA の2パラダイム比較)。 - **タスク汎化の限定**: 単一タスクでのみ検証されており、異なる時系列タスクへの汎化が保証されない。 - **時系列特性の無視**: 自己相関・分布・高次特徴といった時系列固有の性質を考慮せず、画像向けの意味論保持の前提が時系列では成立しない。 - **適応的ポリシー学習の欠如**: 従来の SOTA AutoDA は一様サンプリングに頼り、変換の種類と強度を等しく重要視するため、変換ごとの寄与の違いを反映できない。 ## 問題設定データセット $D=\{D_1,\dots,D_m\}$ の各時系列 $D_i$ に対し、拡張フレームワーク $A_\theta$ がポリシー $P_i=A_\theta(D_i)$(確率ベクトル $p_i$、強度ベクトル $t_i$)を出力する。拡張済みデータセット $A_\theta(D)$ 上で下流モデル $M$(パラメータ $\theta_M$)をタスク損失 $L$ で学習し、原データセット $D$ 上で評価した性能に対して $\theta$ を最適化する、という二重最適化として定式化される(式(1)〜(3))。 ## 提案手法 AutoDA-Timeseries は $K$ 個の **Stacked Augmentation Layers**(積層拡張層)からなる拡張データ生成器 $A_\theta = A_{\theta_1}^{(1)} \circ \cdots \circ A_{\theta_K}^{(K)}$ で構成される(図2)。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig02-architecture.png]] - **時系列特徴抽出(§3.3)**: 先行研究(Qiu et al., 2024)に倣い、各時系列から 24 個の記述統計量(catch22 系)を抽出した特徴ベクトル $F_i$ を得る。$F_i$ は層をまたいで静的に保持され、逐次拡張によるグローバル文脈の歪みを防ぐ。 - **積層拡張層(§3.4)**: 各層 $A_{\theta_k}^{(k)}$ は前層の出力時系列・確率ベクトル・グローバル特徴ベクトルを入力に、MLP $f_p^{(k)}$・$f_t^{(k)}$ で確率 $p_i^{(k)}$ と強度 $t_i^{(k)}$ を生成する(式(4)(5))。変換は Gumbel-Softmax(Jang et al., 2016)近似でサンプリングされ、微分可能性を保ったまま離散選択を行う(式(6)(7))。 - **探索と活用のバランス(§3.5)**: - **学習可能な Gumbel-Softmax 温度**: 各拡張層が独自の温度パラメータを持ち、逆伝播だけで最適化される。高温は探索を促し、低温は決定論的な収束を促す。 - **複合損失関数**: タスク損失 $L_1$ に加え、層内多様性損失 $L_2$(Shannon エントロピー、式(9)(10))と層間多様性損失 $L_3$(KL ダイバージェンス、式(11))を、学習可能な重み(Liebel & Körner 2018 のマルチタスク重み付け)で結合する(式(8))。 - **Raw Transform Bias**: 一定確率 $p_{rb}$ で無変換(Raw)を選び、拡張データへの過学習を防ぐ正則化。 ## 新規性 - 画像向け AutoDA(RandAugment 等)を時系列特化に一般化した初の汎用フレームワークであると主張する。 - 時系列特徴(catch22 由来)を拡張ポリシー生成の条件として組み込む点が既存 AutoDA と異なる。 - 拡張確率と強度の双方を単一段 end-to-end で適応的に最適化する点が、二段階の表現学習および一様サンプリングに頼る従来 AutoDA と異なる。 - 推論時には拡張モデルを一切呼び出さないため、追加のランタイム・メモリオーバーヘッドがゼロになる(§F の計算量解析)。 ## 実験設定 5つのタスクで評価(Table 1)。 | タスク | ベンチマーク | 指標 | 下流モデル | |---|---|---|---| | 分類 | UEA(26 subsets) | Accuracy | TCN, ROCKET | | 長期予測 | ETT(4 subsets), Exchange, Weather | MSE, MAE | RNN, Autoformer | | 短期予測 | M4(6 subsets) | SMAPE, MASE, OWA | RNN, Autoformer | | 回帰 | UEA & UCR(6 subsets) | MSE, MAE | CNN, MLP | | 異常検知 | MSL, SMAP, SMD | Precision, Recall, F1-score | UNet, VAE | ベースラインは3群: (1) 制御群 NoAug、(2) 表現学習系(InfoTS, AutoTCL, TS2Vec)、(3) AutoDA 系(RandAugment, UniformAugment, TrivialAugment, A2Aug)。CV 向け AutoDA ベースラインは画像操作を時系列変換(jittering, scaling, time-warping 等)へ置換しつつ、各手法固有のサンプリングロジック(RandAugment の N 回操作+全体強度 M、UniformAugment の一様サンプリング、TrivialAugment の1操作1強度、A2Aug のアンサンブル学習)は維持して公平性を担保した(Appendix B)。実験は単一の NVIDIA GeForce RTX 3080 Ti GPU 上で実施。既定ハイパーパラメータは層数 $K=3$($K\in\{1,\dots,5\}$ で探索した上での選択)。 ## 実験結果 - **総合比較(図3)**: レーダーチャートで AutoDA-Timeseries が5タスク全てで最大の被覆面積を達成。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig03-radar-comparison.png]] - **分類(図4, 表15,16)**: TCN で 0.730(NoAug 比 +6.7%)、ROCKET で 0.721(+5.2%)。画像向け AutoDA(RandAugment/UniformAugment/TrivialAugment)は限定的または負の効果、TS2Vec は深刻な性能劣化を示した。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig04-classification-accuracy.png]] - **長期予測(表2)**: RNN で MSE 0.3968(NoAug比0.5408から改善)、Autoformer で MSE 1.9098。 - **短期予測(表3)**: RNN で SMAPE 11.068・MASE 1.644・OWA 0.838、全指標で最良。 - **回帰(表4)**: CNN で MSE 0.8921、MLP で MSE 1.0350、共に最良水準。 - **異常検知(表5)**: UNet で F1 0.7478、VAE で F1 0.5761。不適切な変換が希少な異常を消してしまうため拡張への感度が特に高いタスクだが、AutoDA-Timeseries は一貫して優位。 - **適応的ポリシー可視化(図5)**: 下層(Layer 0)は少数の演算子(主に Raw)へ急速に収束し決定論的な活用を示す一方、上層は高いエントロピーを維持し多様な探索を続ける。探索-活用のトレードオフ(Sutton et al., 1998)を反映。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig05-adaptive-policy.png]] - **特徴空間の一貫性(図6)**: catch22 特徴は拡張前後で高い一貫性を保ち、時系列特徴抽出の設計動機を裏付ける。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig06-feature-consistency.png]] - **アブレーション(図7, 表9, 表10)**: 時系列特徴の除去で MSE が最大 14.4% 悪化、共同最適化の除去で最大 7.6% 悪化、動的温度・複合損失の除去でそれぞれ最大 7.4%・8.1% の改善分を失う。catch22 の3カテゴリ(自己相関・分布形状・差分統計)いずれを除いても性能が低下し、時系列動的特性への真の適応を裏付ける。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig07-ablation-scatter.png]] - **ハイパーパラメータ感度(図8, 表11,12)**: 層数 $K$ と Raw Transform Bias $p_{rb}$ の変化に対して性能は概ね安定。初期拡張分布(一様+Rawボーナス/純一様/Dirichlet(α=1,2))による違いも小さく、学習されたポリシーが初期化に依存しないことを示す。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig08-hyperparam-sensitivity.png]] - **クロスデータセット汎化(表13)**: ETTh1 で学習したモデルを ETTh2・ETTm2 へ直接転移。UniformAugment より一貫して優れ、分布が近い ETTh2 では特に強い汎化を示した。 - **モデル効率(図9)**: FingerMovements・MotorImagery データセットで、AutoTCL・TS2Vec・A2Aug など複雑なベースラインより低い計算コストで高い精度を達成。計算量は理論上 $O(K \times B \times d \times L)$(訓練時)、推論時はゼロオーバーヘッド。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig09-efficiency.png]] - **限られた訓練サンプルへの頑健性(図10)**: 訓練データ比率 10〜100% の全域で NoAug を上回り、低データ領域で優位性が顕著。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig10-limited-samples.png]] - **重み分布解析(図11)**: NoAug と比較して異常なパラメータシフトを生まず、5タスクにわたり分布形状の安定性を保つ。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig11-weight-distribution.png]] - **プライバシー解析(図12, 表14, Appendix I)**: 一様固定確率で拡張されたデータセット(従来 SOTA AutoDA 相当)は EM 推定によりシード時系列の復元が容易(低 RMSE)だが、AutoDA-Timeseries のような非一様・未知の拡張確率は混合モデル推定を要し、復元が有意に困難になることを示した。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig12-reconstruction.png]] - **予測・拡張ショーケース(図13,14,15)**: ETTh1 での予測は AutoDA-Timeseries が実測値の時間ダイナミクスに最も近く追従。SCP1 データセットの拡張過程は層を経るごとにグローバル構造を保ちつつ多様なバリエーションを導入することを可視化。 ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig13-forecasting-showcase.png]] ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig14-scp1-showcase1.png]] ![[AutoDA-Timeseries--Automated-Data-Augmentation-for-Time-Series/fig15-scp1-showcase2.png]] ## 考察 - 時系列固有の特徴(catch22)を拡張ポリシー生成に条件付ける設計が、画像ドメインの前提(変換が意味論を保持する)が破綻する時系列で特に有効に働く。 - 探索-活用のトレードオフを、層ごとに異なるエントロピー水準(下層は決定論的、上層は多様)として実現する点は、単純な固定温度・固定サンプリング方式の AutoDA との質的な違いである。 - プライバシー解析は、拡張データセットの公開が意図せずシードデータの再構成攻撃を許しうるという既存 AutoDA(一様固定確率)の副作用を指摘し、AutoDA-Timeseries の非一様・適応的なサンプリングがこの脆弱性を緩和する副次的効果を持つことを示した。 ## 強み / 弱点・課題 - **強み**: 5タスク横断での一貫した性能改善、推論時ゼロオーバーヘッド、ハイパーパラメータ・初期化に対する頑健性、低データ領域での顕著な優位性、プライバシー面での副次的な頑健性向上。 - **弱点・課題**: 実験は単一 GPU(RTX 3080 Ti)構成に限定。将来課題として、著者らはより多様なドメイン・複雑な動態を持つ実世界時系列アプリケーションへの拡張を挙げている(§5)。またモデル選択は代表的な下流アーキテクチャ(TCN, ROCKET, RNN, Autoformer, CNN, MLP, UNet, VAE)に限られ、Transformer 系の大規模時系列基盤モデルでの検証は今回のスコープ外。