> [!abstract] 概要(arXiv abstractの日本語訳) > 時系列基盤モデル(Time Series Foundation Models, TSFMs)は予測の分野を変えつつある。しかし、これらを過去の履歴データで評価することは、訓練データとテストデータのサンプル重複、および相関する訓練系列とテスト系列の間の時間的重複というリスクのために、ますます困難になっている。この課題に対処するため、我々はTS-Arenaを導入する。これは評価を既知の過去から未知の未来へとシフトさせるライブ予測プラットフォームである。継続的ベンチマーキングの概念に基づき、TS-Arenaは未来のデータでモデルを評価する。重要な点として、我々は厳格な予測事前登録プロトコルを導入する:モデルは正解データが物理的に存在する前に予測を提出しなければならない。これによりテストセット汚染は設計上不可能になる。このプラットフォームは、異なるソースからのデータを調和・構造化し、コンテナ化されたモデル提出をオーケストレーションするモジュラーなマイクロサービスアーキテクチャに依拠する。ライブデータストリームに対して厳格な事前登録プロトコルを強制することで、TS-Arenaは情報漏洩を防止し、従来の静的で低頻度な競技会(例:M-Competitions)に対するより高速な代替手段を提供する。TS-Arenaを1年間のエネルギー時系列に対して運用した最初の実証結果は、確立されたTSFMが時間とともに堅牢な長期的スコアを蓄積する一方、ベンチマークの継続的な性質が新規参入者に即座の競争力を示す機会を同時に与えることを示す。TS-Arenaは現代の予測モデルの真の汎化能力を評価するために必要なインフラを提供する。プラットフォームとコードは https://ts-arena.live/ で入手可能である。 ## 論文情報 - タイトル: TS-Arena -- A Live Forecast Pre-Registration Platform - 著者: Marcel Meyer、Sascha Kaltenpoth、Henrik Albers、Kevin Zalipski、Oliver Müller(全員 Paderborn University, Data Analytics Group 所属) - 媒体: arXiv プレプリント(査読版は KDD '26、第32回 ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2、pp. 9558–9568 に採録) - arXiv ID: 2512.20761(v3、2026-04-24改訂) - プラットフォーム/コード: https://ts-arena.live/ - アーカイブ(HuggingFace): https://huggingface.co/datasets/DAG-UPB/TS-Arena-Archive(四半期ごとに更新) ## 概要 TS-Arenaは、時系列基盤モデル([[時系列基盤モデル]])の評価が抱える直接的・間接的情報漏洩の問題を、履歴データではなく「未来のまだ存在しないデータ」で評価するというアーキテクチャ的な仕組みによって解決するライブベンチマークプラットフォームである。中核は予測事前登録プロトコル(Forecast Pre-Registration Protocol, FPRP)であり、これをTimescaleDBベースのマイクロサービス群で実装し、エネルギー領域の186本のライブ時系列・14チャレンジで運用した2025年通年のバックテスト結果を報告する。 ## 問題設定 入力は、SMARD・Gridstatus・FINGRIDという3つのデータソースから継続的に取得されるエネルギー領域(電力価格・発電・消費)の高頻度時系列である。出力は、各チャレンジラウンドで定義された予測ホライズン([tnow+1, ..., tnow+H])に対する点予測(および対応可能なモデルでは分位点)であり、評価はホライズン全体の正解値が実測された後にMASE(平均絶対スケール誤差)とELOレーティングで行われる。前提条件は、参加モデルが「正解値が物理的に存在する前」に予測を登録ウィンドウ内に提出することであり、この時間的制約こそが情報漏洩を設計上不可能にする核心的な仕掛けである。 ## 提案手法 ### 予測事前登録プロトコル(FPRP) - **アーキテクチャ**: 評価時刻 t を厳格な時間分割点 tnow として定義し、これがリアルタイムに連続的に進行する。1回のラウンドは次の5段階からなる: (1) ラウンド初期化、(2) コンテキスト取得(長さ C の過去観測 [X(tnow-C), ..., X(tnow)] を提供)、(3) 推論と登録(ホライズン H の予測 [tnow+1, ..., tnow+H] を登録ウィンドウ内に提出)、(4) ウィンドウ閉鎖(次の正解値 X(tnow+1) が観測される前に厳格に閉じ、閉鎖後の提出は拒否)、(5) 評価(ホライズン全体の正解値 [X(tnow+1), ..., X(tnow+H)] が出揃った時点で誤差指標を計算)。 **Figure 1: 予測事前登録プロトコル(2ラウンドの模式図)** ![[_attachments/arxiv-2512.20761/fig01-fprp-two-rounds.png]] (Figure 1. コンテキスト長7・ホライズン長7の例で2ラウンドを図示。破線はForecast Pre-Registration(tnow+1の前に閉じる登録ウィンドウ)とEvaluation(tnow+7の後)の境界を示し、Ground Truthに対しModel 1〜3の事前登録済み予測が重なって描かれる。Round 2はRound 1のホライズンHだけシフトして開始されるが、実際には任意のタイミングで新ラウンドを開始できる。Source: Adapted from Figure 1.) - **なぜ情報漏洩を防げるか**: 登録ウィンドウが次の正解値の観測前に厳格に閉じることで、テストセットは推論プロセス中は論理的にアクセス不能な状態に保たれる。これにより直接的情報漏洩(訓練データとテストデータのサンプル重複)と間接的な時間的情報漏洩(相関する時系列——例えばバスと地下鉄の利用者数——の間で、片方の訓練データからもう片方のテストホライズンの情報が漏れ出す現象)の双方を設計上不可能にする。ラウンドの反復は時系列交差検証(time series cross-validation)の意味での高速かつ正確な評価を可能にする。 ### マイクロサービスアーキテクチャ - **アーキテクチャ**: Docker Composeネットワーク上に、Database(TimescaleDB)・Data Portal・API Portal・Dashboard API・Front-end・Reference Model Serviceの6サービスを配置する。 **Figure 2: TS-Arenaのマイクロサービスアーキテクチャ** ![[_attachments/arxiv-2512.20761/fig02-microservice-architecture.png]] (Figure 2. Data Portalが外部APIから継続的にデータを取得しDatabaseへ永続化、API Portalがチャレンジ・モデル・事前登録済み予測を読み書き・検証・評価し、Reference Modelsへ自動的に予測の事前登録を委譲する。Dashboard APIはDatabaseから読み取り専用でクエリしFront-endへ供給、参加者はAPI Portalへ直接予測を提出する。Source: Adapted from Figure 2.) - **Database**: TimescaleDB([[TimescaleDB]])インスタンスが高頻度時系列データ・予測提出・ユーザーメタデータを構造化保存する。 - **Data Portal**: 外部APIを継続的にクエリする分離された取り込みエンジン。異種データフォーマットを内部スキーマへ正規化し、タイムスタンプをUTCへ変換しつつ元のタイムゾーン情報を別属性として保持する。生データと加工済みデータの両方をSlowly Changing Dimension Type 2(SCD2)のデータウェアハウス・アーカイブ戦略に従って保存する。 - **API Portal**: 中央オーケストレーション単位。ユーザー認証、チャレンジラウンドの作成、有効な登録ウィンドウに対する予測提出の検証、正解データが利用可能になり次第の評価トリガーを担う。 - **Dashboard API**: 読み取り専用でチャレンジ状況・ライブ時系列・提出済み予測・継続更新されるリーダーボード情報をFront-endへ供給する。 - **Front-end**: チャレンジ・モデル情報・リーダーボードを可視化するWebアプリ(GUI)。 **Figure 3: TS-Arenaのチャレンジ・モデルビュー(Front-end画面例)** ![[_attachments/arxiv-2512.20761/fig03-frontend-rankings-view.png]] (Figure 3. FINGRIDチャレンジ(24hホライズン・15min頻度、2026-02-09時点)のランキング画面。Fingrid-Fingrid-electricity_productionのコンテキストと各モデルの予測、および全体ランキング表(chronos-2が1位、ELO 1289.2、平均MASE 0.732)を表示する。Source: Adapted from Figure 3.) - **Reference Model Service**: 中立な評価コンテキストを提供するため、確立されたTSFMと統計的ベースラインのコンテナ化実装をホストする。API Portalに対し他の参加者と同一の制約(提出ウィンドウ・データアクセス)下でコンテキストを要求し予測を提出する自律的な参加者として動作する。 ### チャレンジとエネルギー領域データ 第一弾の長期チャレンジはエネルギー領域(価格・発電・消費)に焦点を当てる。理由は、高頻度データの可用性と複雑・動的な時系列パターンの両立、および物理過程(風力・太陽光発電)・人間行動(負荷・消費)・経済的市場メカニズム(電力価格)という多様なデータ生成過程を持つことにある。データはSMARD(ドイツ)・Fingrid(フィンランド)・Gridstatus(NY ISO・CA ISOを含む米国のISO群)から取得し、TimescaleDBの継続集約機能で最高粒度(例: 3分間隔)の取り込みを15分・1時間などの統一頻度へダウンサンプルする。 **Table 1. チャレンジスケジュール概要(全ドメイン: エネルギー)** | 説明 | カテゴリ | 系列数 | コンテキスト | 頻度 | ホライズン | 登録ウィンドウ(UTC) | |---|---|---|---|---|---|---| | SMARD Day-Ahead Price | price | 15 | 1000 | 15m | 1d | 02:00pm–02:14pm | | SMARD Net Load | consum. | 10 | 1000 | 15m | 1d | 08:00am–08:14am | | SMARD Generation | generat. | 24 | 1000 | 15m | 1d | 08:00pm–08:14pm | | SMARD Day-Ahead Price | price | 15 | 1000 | 1h | 3d | 03:00pm–03:59pm | | SMARD Net Load | consum. | 10 | 1000 | 1h | 3d | 09:00am–09:59am | | SMARD Generation | generat. | 24 | 1000 | 1h | 3d | 09:00pm–09:59pm | | Gridstatus Hub Price | price | 18 | 1000 | 15m | 1d | 04:00pm–04:14pm | | Gridstatus Load | consum. | 11 | 1000 | 15m | 1d | 09:00am–09:14am | | Gridstatus Generation | generat. | 17 | 1000 | 15m | 1d | 08:00pm–08:14pm | | Gridstatus Hub Price | price | 18 | 1000 | 1h | 3d | 05:00pm–05:59pm | | Gridstatus Load | consum. | 11 | 1000 | 1h | 3d | 10:00am–10:59am | | Gridstatus Generation | generat. | 17 | 1000 | 1h | 3d | 09:00pm–09:59pm | | FINGRID Challenge | mixed | 12 | 1000 | 15m | 1d | 04:45am–04:59am | | FINGRID Challenge | mixed | 12 | 1000 | 1h | 3d | 05:00am–05:59am | ### 評価プロトコルと集計 各予測に対しナイーブ予測をベースラインとするスケール非依存指標のMASE(Mean Absolute Scaled Error)を計算する。TabArena(参考文献[10])に倣い、チェスレーティングに着想を得たELOスコアを信頼区間付きで報告する。ラウンド r における各モデル m_i の平均MASEを P_{i,r} とし、両モデルが同一ラウンドに参加している場合のみペア比較を行う(交差ベースのペア更新)。 - **勝敗の定義**: P_{i,r} < P_{j,r} なら S_{i,j,r} = 1.0(勝ち)、逆なら 0.0(負け)。同値は稀だがコード上は引き分けとして処理する。 - **交差ベースのペア更新**: 2モデル m_i, m_j 間の比較は両方が同一ラウンドに参加した場合のみ実施される。これにより確立モデルは全履歴に基づきレーティングを継続的に精緻化しつつ、新規参入モデルとの比較は重複する評価ウィンドウのみに限定され、グローバルな履歴データを破棄せずに済む。 - **不確実性定量化(ランダム化リプレイ・ブートストラップ)**: ELOはオンライン学習アルゴリズムであるため経路依存性(評価順序への感度)を持つ。この安定性を検証するため、評価ラウンドの時系列順序をB=500回シャッフルしてELO軌跡をゼロから再計算するRandomized Replay Bootstrapを用い、2.5〜97.5パーセンタイルから95%信頼区間を導出する。長く一貫した履歴を持つモデルは順序によらず安定したレーティングに収束し(信頼区間が狭い)、参加ラウンドの少ない新規モデルは順列に対する変動性が高く(信頼区間が広い)、これは暫定的な地位を正しく反映する。 - 現状は点推定に焦点を当てるが、アーキテクチャは将来的な確率的スコアリングルール(例: CRPS)の統合をサポートする。 ### 参照モデルサービスの標準実装プロトコル 再現性と公正な比較を保証するため、「Standard Implementation」プロトコルに従う: (1) モデル著者提供の公式リポジトリを利用、(2) TSFMは著者推奨のデフォルト設定によるゼロショット構成で実行しドメイン特化チューニングなしの汎化能力を評価する。査読済み文献に掲載されダウンロード可能なチェックポイントを持ち他ベンチマークで良好な性能を示すモデルを優先的に選定し、後継モデル・査読前の最新モデルも含める。ファインチューニングが必須で即座のゼロショット予測に適さないモデル(例: [[MOMENT]]ファミリー)は初期セットから除外した。 **Table 2. TS-Arenaに含まれる参照TSFM** | Model | Architecture | Review | Published | Source | |---|---|---|---|---| | TTMs* R1 (TinyTimeMixers) | Mixed | ✓ | 2024-01-08 | [9] | | Moirai | Encoder-only | ✓ | 2024-02-04 | [34] | | Time-MoE | Decoder-only | ✓ | 2024-09-24 | [33] | | TTMs* R2 (TinyTimeMixers) | Mixed | ✓ | 2024-10-08 | [9] | | Chronos Bolt | Encoder-decoder | – | 2024-11-26 | [3] | | TimesFM 2.0 | Decoder-only | – | 2024-12-20 | [8] | | Sundial | Decoder-only | ✓ | 2025-02-02 | [26] | | TiRex | Encoder-only | ✓ | 2025-05-29 | [4] | | VisionTS++ | Vision | – | 2025-08-06 | [32] | | Flowstate | Encoder-decoder | – | 2025-08-07 | [13] | | TimesFM 2.5 | Decoder-only | – | 2025-09-15 | [8] | | Chronos-2 | Encoder-only | – | 2025-10-17 | [2] | | Moirai 2 | Encoder-only | – | 2025-11-12 | [25] | 初期セットはdecoder-onlyモデル(TimesFM 2.0/2.5、Time-MoE、Moirai 2、Sundial)、encoder-onlyモデル(Chronos-2、Moirai)、encoder-decoderモデル(Chronos Bolt、Flowstate)、xLSTMベースのTiRex、MLPベースのTinyTimeMixers、Vision TransformerのVisionTS++からなり、アーキテクチャの多様性を重視して選定した。統計的ベースライン(naive・seasonal-naive・simple-moving-average)も比較対象に含める。 ### 情報漏洩を許さない参加開始タイミング leakage-free future data evaluationの精神に沿い、ホストされた参照TSFMは各モデルのリリース日以降にのみチャレンジへ参加を開始する。例えばChronos-2は2025年10月17日公開のため、その日付以降のチャレンジにのみ遡及的に参加を開始し、実際の訓練データカットオフ日には依存しない。 ## 新規性 既存のTSFMベンチマーク(GIFT-Eval [1]、TSFM-Bench [22]、TempusBench [11]、Fidel-TS [35])はモデルカバレッジ・データセット多様性・評価レジームの拡張には貢献したが、情報漏洩の問題を十分には解決していない。GIFT-Evalは固定テストセットを将来の訓練から除外することを意図するが、その固定テストセットが新しいTSFMの事前学習データに紛れ込む可能性を排除できず、また固定された事前学習・テスト分割はTSFMのスケーリング則([[スケーリング則]])の核である広範で異種混合のデータでの事前学習の柔軟性を阻害する。TempusBenchは低頻度データセットで汚染を緩和し、Fidel-TSは認証保護されたAPIから定期的に新しい評価データを収集するが、いずれもそのデータセット自体が将来のTSFMの事前学習データの一部になりベンチマークの妥当性を損なう可能性を排除できない。TS-Arenaはこれらと異なり、時系列データが持つ「観測がリアルタイムに継続的に生成される」というユニークな生成的性質を活用し、正解データが物理的に存在しないうちに予測を確定させることで、直接・間接いずれの情報漏洩も設計上不可能にする点が新規性である。 ## 実験設定 - **データソース**: SMARD(ドイツ、電力市場データプラットフォーム)、Gridstatus(NY ISO・CA ISOを含む米国系統運用機関のデータ)、FINGRID(フィンランド送電系統運用機関のオープンデータAPI)。 - **初期構成**: 186本のライブ時系列を14チャレンジに編成。各チャレンジは1日のうち異なる時刻に新ラウンドを開始し、参加機会の分散と計算負荷の平準化を両立する。 - **バックテスト範囲**: 2025年通年をTS-Arenaプラットフォーム上でバックテストし、全季節・季節性をカバーする15分足・1時間足データを初期投入した。 - **除外データ**: 硬質炭・天然ガスによる発電系列は現行ベンチマークから除外。メリットオーダーの限界に位置し高い限界費用とCO2価格に依存するため、長期にわたり一定(ゼロ)の生成量が続き突発的な高振幅スパイクが天候・電力需要などの外生要因に強く依存する不規則パターンを示す(Figure 4〜7で例示)。現行のライブAPIは共変量を提供しないため、本ベンチマークのスコープは単変量時系列予測に限定されており、公平な評価のためこれらの系列は除外した(将来的に共変量サポート後に再導入予定)。 - **評価指標**: MASE(ナイーブ予測基準のスケール非依存誤差)、およびTabArenaに着想を得たELOレーティング(95%信頼区間付き、B=500のランダム化リプレイ・ブートストラップ)。 ## 実験結果 ### 全体性能(Table 3、2025年末時点) 2025年末時点でのグローバルELOレーティングと平均MASEを報告する。リーダーボード上位はすべてTSFMが占める:chronos-2がグローバルELO 1289(+82/−101)で首位、続いてtirex(1270、+73/−86)・moirai-2-small(1263、+87/−96)。信頼区間の幅はモデルごとの参加ラウンド数に依存し、tirexは3319ラウンド完了で狭い区間(+73/−86)、chronos-2は1488ラウンド完了でやや広い区間(+82/−101)となる。上位モデルの信頼区間は互いに重なり合い、性能が拮抗し追加評価が必要であることを示す。 最上位のベースラインはseasonal-naive(ELO 922)で、simple-moving-averageのような単純ヒューリスティックはリーダーボード最下位(ELO 609)に位置する。高頻度設定(15min/1day)ではchronos-2が最高評価(1288)、次いでtimesfm-2.5-200m(1282)・tirex(1277)。低頻度設定(1h/3days)でもchronos-2が最高(1295)、続いてtirex(1273)・moirai-2-small(1270)。 同一モデルファミリー内のスケーリング効果として、chronos-boltファミリーではELOがtiny(1194)<mini(1200)<small(1206)<base(1214)と単調増加する。新しい世代のモデルは前世代を上回る:moirai-2-small(1263)>moirai-base-model(1113)・moirai-large(1099)、timesfm-2.5-200m(1240)>timesfm-2.0-500m(1178)。ELOとMASEのランキングはおおむね一致するが完全には一致しない——tirexは最低のグローバルMASE(0.682)を達成しながらELOでは2位であり、MASEの信頼区間から見るとtirexは正解値からの乖離が小さく安定している一方、大規模モデルは一部系列で強い適合を示すが他の系列で弱いため勝敗数が多くELOが高くなる、という乖離の理由が示唆される。sundial-128mはELO 1154・MASE 0.736で、moirai-base-model(MASE 0.753、ELO 1113)を上回る競争力のある性能を示す。 **Table 3. 参照TSFM・統計ベースラインのグローバルMASEとELOスコア(2025年バックテスト)** | Model | Rounds | Global ELO(CI) | Global MASE(±std) | 15min/1day ELO(CI) | 15min/1day MASE | 1h/3days ELO(CI) | 1h/3days MASE | |---|---|---|---|---|---|---|---| | chronos-2 | 1488 | 1289 (+82/−101) | 0.732±0.88 | 1288 (+82/−92) | 0.706±1.17 | 1295 (+90/−99) | 0.751±0.58 | | tirex | 3319 | 1270 (+73/−86) | 0.682±0.71 | 1277 (+76/−72) | 0.685±0.89 | 1273 (+86/−92) | 0.680±0.48 | | moirai-2-small | 1150 | 1263 (+87/−96) | 0.767±1.01 | 1261 (+89/−97) | 0.734±1.46 | 1270 (+78/−92) | 0.788±0.58 | | timesfm-2.5-200m | 1902 | 1240 (+86/−102) | 0.747±0.92 | 1282 (+79/−87) | 0.721±1.20 | 1216 (+88/−96) | 0.768±0.61 | | chronos-bolt-base | 5090 | 1214 (+94/−88) | 0.723±0.98 | 1262 (+70/−95) | 0.727±1.19 | 1180 (+97/−87) | 0.718±0.72 | | flowstate | 2411 | 1214 (+89/−102) | 0.710±0.92 | 1241 (+93/−103) | 0.696±1.20 | 1203 (+98/−96) | 0.722±0.58 | | chronos-bolt-small | 5090 | 1206 (+86/−97) | 0.726±0.97 | 1233 (+86/−86) | 0.739±1.20 | 1183 (+87/−89) | 0.713±0.67 | | chronos-bolt-mini | 5090 | 1200 (+82/−106) | 0.724±0.92 | 1212 (+86/−92) | 0.742±1.12 | 1187 (+71/−86) | 0.705±0.67 | | chronos-bolt-tiny | 5090 | 1194 (+74/−91) | 0.722±0.89 | 1197 (+96/−86) | 0.746±1.10 | 1192 (+78/−98) | 0.699±0.60 | | timesfm-2.0-500m | 5088 | 1178 (+95/−89) | 0.737±1.00 | 1168 (+86/−82) | 0.779±1.31 | 1197 (+78/−98) | 0.694±0.54 | | sundial-128m | 4828 | 1154 (+90/−80) | 0.736±0.90 | 1195 (+78/−72) | 0.753±1.14 | 1118 (+83/−85) | 0.720±0.57 | | moirai-base-model | 5090 | 1113 (+73/−84) | 0.753±0.56 | 1066 (+96/−93) | 0.796±0.61 | 1162 (+79/−87) | 0.709±0.51 | | moirai-large | 5090 | 1099 (+88/−92) | 0.774±0.72 | 1021 (+107/−89) | 0.838±0.88 | 1167 (+75/−91) | 0.710±0.52 | | tinytimemixer-r2-1024-96 | 4890 | 1046 (+99/−77) | 0.790±1.08 | 1078 (+89/−84) | 0.819±1.35 | 1014 (+99/−85) | 0.760±0.70 | | tinytimemixer-r1-1024-96 | 5088 | 1042 (+87/−87) | 0.785±1.00 | 1053 (+92/−78) | 0.817±1.26 | 1034 (+95/−89) | 0.753±0.64 | | time-moe-50m | 5089 | 1035 (+97/−90) | 0.823±1.67 | 1011 (+81/−79) | 0.896±2.25 | 1058 (+100/−97) | 0.749±0.72 | | time-moe-200m | 5088 | 1033 (+96/−85) | 0.824±1.62 | 1003 (+80/−83) | 0.896±2.16 | 1063 (+93/−89) | 0.752±0.75 | | moirai-small | 5090 | 1031 (+98/−83) | 0.788±0.61 | 1005 (+93/−96) | 0.837±0.71 | 1054 (+94/−84) | 0.740±0.47 | | seasonal-naive | 5105 | 922 (+117/−112) | 0.975±1.30 | 913 (+118/−108) | 1.046±1.70 | 924 (+128/−126) | 0.903±0.70 | | seasonal-average | 5101 | 866 (+114/−108) | 1.086±2.56 | 822 (+119/−100) | 1.245±3.49 | 903 (+112/−110) | 0.927±0.93 | | visiontspp-base | 2422 | 862 (+103/−84) | 1.026±1.27 | 893 (+89/−84) | 0.978±1.66 | 820 (+111/−83) | 1.068±0.77 | | visiontspp-large | 2422 | 797 (+99/−79) | 1.101±1.58 | 825 (+91/−78) | 1.096±2.10 | 765 (+99/−77) | 1.105±0.93 | | simple-moving-average | 5089 | 609 (+96/−74) | 1.431±4.96 | 594 (+101/−73) | 1.606±6.88 | 610 (+103/−83) | 1.256±1.32 | ### ドメイン別傾向 TSFMはエネルギー発電の予測で平均性能が最も低く、エネルギー消費で最良の結果を達成する。SMARDライブ時系列の詳細分析(Table 4)はタスク依存のアーキテクチャ的強みを示す:tirexはDay-Ahead Market(ELO 1283)とPower Generation(1354)の両方で最高評価を獲得する一方、chronos-bolt-baseはElectricity Load予測で優位(1499)。発電タスクは太陽光発電の夜間ゼロ値や風力発電の長期ゼロ出力といった物理的境界条件のため引き続き難しく(tirexでもMASE 0.852)、対照的に電力消費は大幅に予測しやすい(flowstateがMASE 0.229、seasonal-naiveベースライン0.643比で60%超の誤差削減)。 **Table 4. SMARDリーダーボード抜粋(15min/24h、Table 4より一部)** | Model | Rounds | price ELO(CI) | price MASE | generation ELO(CI) | generation MASE | consumption ELO(CI) | consumption MASE | |---|---|---|---|---|---|---|---| | tirex | 650 | 1283 (+75/−78) | 0.706±1.00 | 1354 (+74/−70) | 0.852±1.55 | 1358 (+66/−56) | 0.272±0.20 | | chronos-bolt-base | 1095 | 1245 (+83/−91) | 0.747±1.50 | 1202 (+83/−80) | 0.969±2.10 | 1499 (+64/−66) | 0.259±0.21 | | chronos-2 | 228 | 1244 (+73/−83) | 0.768±0.86 | 1267 (+83/−86) | 1.020±2.59 | 1423 (+66/−67) | 0.247±0.19 | | flowstate | 441 | 1232 (+99/−98) | 0.765±1.24 | 1226 (+98/−101) | 0.956±2.43 | 1453 (+70/−70) | 0.229±0.19 | | seasonal-naive | 1095 | 996 (+121/−126) | 0.930±1.67 | 896 (+106/−102) | 1.290±2.30 | 928 (+121/−121) | 0.643±0.49 | 発電系列に特有の物理的境界条件(太陽光の夜間ゼロ・風力の長期ゼロ出力)は、単変量の履歴コンテキストのみに依存する現行アーキテクチャが補助データなしでは断続的定常性をうまくモデル化できないことを示す。共変量の統合は計画中の拡張だが、現時点の結果はTSFMを物理的制約のある時系列にドメイン固有の特性を考慮せず無差別に適用できないことを示唆する。 ### 硬質炭・天然ガスの除外理由の可視化 **Figure 4: 硬質炭チャレンジの例(高い平均MASE)** ![[_attachments/arxiv-2512.20761/fig04-hardcoal-high-mase.png]] (Figure 4. Round 13065(electricity_hard_coal_power_plant_generation_TSO_Amprion_quarterhour_4069)。コンテキストは長期間ほぼ一定値の後に急激なゼロへの落ち込みを示し、予測開始後にモデルの予測がゆっくり上昇していく一方で実測値(Horizon actual)はほぼゼロに留まり、平均MASE 364.49という極端な誤差を生む。Source: Adapted from Figure 4.) **Figure 5: 天然ガスチャレンジの例(高い平均MASE)** ![[_attachments/arxiv-2512.20761/fig05-naturalgas-high-mase.png]] (Figure 5. Round 13023(electricity_natural_gas_power_plant_generation_TSO_TransnetBW_quarterhour_4071)。コンテキストにスパイク(約95)が見られるが直後に低い一定値へ戻り、平均MASEが∞(実測値の変動がゼロに近くMASEの分母が消失)となる極端な例。Source: Adapted from Figure 5.) **Figure 6: 硬質炭の完全時系列(2024年11月〜2026年1月、多数の高MASEラウンド)** ![[_attachments/arxiv-2512.20761/fig06-hardcoal-fullseries-mase.png]] (Figure 6. electricity_hard_coal_power_plant_generation_TSO_50Hertz_quarterhour_4069の全期間。663ラウンド中48ラウンドが高MASE(≥10)で、MASE=∞・≥100の区間が暖候期(夏場、再生可能エネルギーで需要が賄われ石炭利用が低い時期)に集中する。Source: Adapted from Figure 6.) **Figure 7: 天然ガスの完全時系列(2024年11月〜2026年1月、多数の高MASEラウンド)** ![[_attachments/arxiv-2512.20761/fig07-naturalgas-fullseries-mase.png]] (Figure 7. electricity_natural_gas_power_plant_generation_TSO_APG_quarterhour_4071の全期間。663ラウンド中155ラウンドが高MASE(≥10)で、Figure 6の硬質炭より高MASE区間の割合が大きく、天然ガス発電が季節・市場要因により一層不規則であることを示す。Source: Adapted from Figure 7.) ## 考察 TS-Arenaは正解データの物理的非存在という制約からFPRPを導き、情報漏洩を根絶する点で既存手法(GIFT-Eval・TSFM-Bench・TempusBench・Fidel-TS)と質的に異なる。一方で現状のスコープはデータセット・構成空間の面で意図的に狭い:2025年の392万点はTSFM-Bench(86,858点)を大きく上回るが、GIFT-Evalの3億点超と比較すれば相対的に小規模である。ただし、これは静的ベンチマークとの構造的な違い(TS-Arenaはリビングベンチマークとして新しいデータソース・頻度・ホライズン・チャレンジ種別を継続的に取り込める)によって時間とともに緩和されると位置づける。静的ベンチマークが広さと制御された分析を提供するのに対し、TS-Arenaはモデル・データが進化してもその健全性(integrity)を保ち続ける前方専用・漏洩フリーの評価インフラを提供する、と両者を補完的に位置づけている。 シミュレートした2025年のリーダーボードのダイナミクスは「リビングベンチマーク」というパラダイムを裏付ける:新規参入モデルは即座に上位を獲得しうるが、その広い信頼区間は統計的確実性の欠如を示す。これは、真の汎化能力と特定の市場レジームに起因する一時的な過剰性能を見分けるには持続的な評価期間が必要であることを浮き彫りにする。 ## 強み・弱点/課題 **強み** - 正解データの物理的非存在という時系列固有の性質を利用し、直接・間接いずれの情報漏洩も設計上不可能にする点で、他のTSFMベンチマークが抱える根本的な限界を解消する。 - モジュラーなマイクロサービスアーキテクチャによりデータ取り込み・オーケストレーション・評価が分離され、スケーラビリティと拡張性を確保している。 - ランダム化リプレイ・ブートストラップによる不確実性定量化により、少ないラウンドで高評価を得た新規モデルの見かけの優位性に対し統計的な警告を発する仕組みが組み込まれている。 - 四半期ごとに更新されるHuggingFaceアーカイブにより、オフラインでの再現実験・独立検証が可能。 **弱点・課題** - 現時点ではエネルギー領域(SMARD・Gridstatus・FINGRID由来)に限定され、GIFT-Evalなど大規模静的ベンチマークと比較しデータセット規模・ドメイン多様性が相対的に小さい。 - 共変量を提供するライブAPIが存在しないため、現行スコープは単変量時系列予測に限定される(硬質炭・天然ガスのような物理的制約の強い系列は評価対象外)。 - 現行実装は点推定(MASE)に焦点を当て、確率的スコアリングルール(CRPS等)による不確実性評価は将来拡張として位置づけられている。 - オフラインアーカイブでの漏洩フリー性の維持は利用者の自己申告的なガイドライン遵守(訓練データのクリーンな時間分割)に依存しており、プラットフォーム側で強制する仕組みではない。