## 定義 CloudOps 時系列予測データセットは、クラウド運用(cloud operations)ドメインの実クラスタ運用トレースを加工して構築された、大規模時系列予測ベンチマーク群である。[[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]] が導入した azure2017・borg2011・ali2018 の3データセットを指す。いずれも公開クラスタトレース(Azure VM Traces 2017、Google Borg Cluster Data 2011、Alibaba Cluster Trace 2018)から5分間隔・予測ホライズン48ステップの時系列予測タスクへ整形されており、最大の azure2017 は約10.8億観測点を持つ。時系列予測の事前学習・スケーリング研究にとって、当時の主要ベンチマーク(数万時間ステップ規模)より2〜3桁大きいデータ規模を提供する点が導入意義。(Source: [[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]]) 3データセットの主要統計: | Dataset | 元データ | 系列本数(pre-train/train-test) | Total Obs. | # Targets | 頻度 | |---|---|---|---|---|---| | azure2017 | Cortez et al. (2017), Azure VM Traces | 159,472 / 17,568 | 約10.8億 | 1(CPU利用率、単変量) | 5分 | | borg2011 | Wilkes (2011), Google Borg Cluster Data | 143,386 / 11,117 | 約6.7億 | 2(CPU rate・canonical memory usage、多変量) | 5分 | | ali2018 | Guo et al. (2019), Alibaba Cluster Trace | 58,409 / 6,048 | 約1.4億 | 2(CPU/メモリ利用率、多変量) | 5分 | 各データセットは、サブスクリプション/ユーザー/App DU といったトップレベル属性に基づいて pre-train セットと train-test セット(約90/10)に非重複分割される点が共通の設計原則であり、同一システム内(in-collection)の未知系列への転移可能性を検証する目的で構築されている。(Source: [[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]]) ## 横断的知見 - azure2017・borg2011・ali2018 の3データセットは互いに大きく異なる分布を持つ(データセット間 Wasserstein 距離が同一データセット内のばらつきより2桁大きい、Table 8)。この「ドメイン内だが分布の異なる複数コレクション」という構成は、CloudOps ドメインでの cross-collection 転移学習を今後検証する際の天然の実験基盤になりうる。(Source: [[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]]) - 同一コレクション内(in-collection)であっても pre-train セットと train-test セットの間には明確な分布シフトが存在する(Wasserstein 距離がランダム分割のベースラインより一桁以上大きい)。これは「同一システムが生成する時系列だから分布は同じ」という素朴な想定を否定するもので、in-collection 転移がゼロショットで機能する場合、それは分布の一致ではなく事前学習データの多様性による汎化と考えるべきことを示唆する。(Source: [[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]]) - 最大データセット azure2017 ではモデルサイズ・データ量双方でスケーリング利得が明確に観測される一方、相対的に小規模な borg2011・ali2018 では事前学習の進行に伴う過学習が観察される。これは、CloudOps データセットでのスケーリング研究の結論がデータセット規模に強く依存することを意味し、他の2データセットのみを用いた追試では本論文の「スケーリングが有効」という主張を再現できない可能性がある。(Source: [[@2023__arXiv__Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain]]) ## 未解決の問い - azure2017・borg2011・ali2018 を用いた cross-collection(ドメイン内・コレクション間)事前学習・転移学習は、原論文が「今後の課題」として明示的に対象外としており未検証。3データセットの分布差の大きさ(Table 8)を踏まえると、単純な混合事前学習では負の転移が生じる可能性がある。 - borg2011・ali2018 で観察された過学習が、データセット規模の小ささによるものか、系列パターンの多様性不足によるものかは未分離。Figure 6 のデータセットサイズスケーリング実験を、系列本数一定で多様性のみを変える対照実験で追試すれば切り分けられる可能性がある。 - 本データセット群は、[[時系列基盤モデル]](TSFM)系譜(Moirai/Moirai-MoE)の学習データに含まれているか、含まれる場合どの程度の重みで使われているかが本ソースだけでは確認できない。後続の Moirai 系論文が ingest された時点で確認する。 ## 関連 - 関連概念: [[時系列基盤モデル]] / [[Transformer]] / [[位置埋め込み]] - 関連 MOC: [[時系列基盤モデル - MOC]]