# 予測事前登録プロトコル ## 定義 予測事前登録プロトコル(Forecast Pre-Registration Protocol, FPRP)は、モデルに対し正解の実測値(ground truth)が物理的に存在する前に予測の提出を強制することで、テストセット汚染(test-set contamination)を設計上不可能にする評価方法論である。評価時刻 t を厳格な時間分割点 tnow としてリアルタイムに連続進行させ、各ラウンドを (1) ラウンド初期化、(2) 過去観測のコンテキスト取得、(3) 推論と登録ウィンドウ内での予測提出、(4) 次の正解値が観測される前の登録ウィンドウ閉鎖、(5) ホライズン全体の正解値が出揃った後の評価、という5段階で反復する。登録ウィンドウが次の正解値の観測前に厳格に閉じることで、テストセットは推論プロセス中は論理的にアクセス不能な状態に保たれ、直接的情報漏洩(訓練データとテストデータのサンプル重複)と間接的な時間的情報漏洩(相関する時系列間で片方の訓練データからもう片方のテストホライズンの情報が漏れ出す現象)の両方を防止する(Source: [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]] §2)。 この方法論を実装するのが [[TS-Arena]] であり、モジュラーなマイクロサービスアーキテクチャ(TimescaleDB・Data Portal・API Portal・Dashboard API・Front-end・Reference Model Service)でFPRPを運用し、参照TSFM([[時系列基盤モデル]])と統計的ベースラインをMASEとELOレーティングで継続的にランキングする。 ## 横断的知見 - **時系列予測ベンチマークの情報漏洩対策は「テストデータを隠す」から「テストデータをまだ存在させない」へと質的に転換しつつある。** GIFT-Eval・TSFM-Bench・TempusBench・Fidel-TSといった既存ベンチマークは固定テストセットの除外指定・低頻度データセットの選定・認証API経由の定期収集といった「隠す」戦略を取るが、TS-Arenaの論文はこれらすべてが将来のTSFM事前学習データへの紛れ込みを排除できない構造的限界を持つと指摘する。FPRPは正解データが物理的に存在しない時点で予測を確定させることで、隠蔽ではなく時間的非存在そのものを漏洩防止の根拠に据える点で異質である(Source: [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]] §1, §5)。 - **チェスのELOレーティングをモデル評価に転用する設計はTabArena(表形式データの生きたベンチマーク)からTS-Arena(時系列)へと横展開されている。** 両者とも、参加ラウンド数が少ない新規モデルほど信頼区間が広くなるランダム化リプレイ・ブートストラップ(TS-Arenaは B=500)を採用し、「即座の高評価」と「統計的に検証された優位性」を区別する仕組みを持つ。継続的に更新されるリーダーボードという発想自体は、[[LLM評価]]領域のChatbot Arenaのようなクラウドソース型評価とも思想的に近く、モデル評価の「静的な一括採点」から「継続的な対戦・格付け」への移行が複数のモダリティ(表形式データ・時系列・LLM出力)で並行して起きていることを示唆する(Source: [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]] §3.3.2, §3.3.4)。 ## 未解決の問い - FPRPはオンラインのライブ評価では漏洩を設計上排除できるが、四半期ごとに公開されるオフラインアーカイブ(HuggingFace)では、利用者が「訓練データのクリーンな時間分割」というガイドラインを自己申告的に遵守することに依存する。プラットフォーム側がこの遵守を技術的に強制する(例:アーカイブのタイムスタンプ以降に公開されたモデルのみが特定スナップショットを評価に使えることを検証する仕組み)ことは可能か。 - FPRPは単変量時系列に限定されている(共変量を提供するライブAPIが存在しないため)。多変量・共変量付き予測([[多変量時系列予測]])へFPRPを拡張する際、共変量自体の未来リーク(例:天気予報という「まだ確定していない未来情報」をどう扱うか)は新たな情報漏洩経路にならないか。 - ELOのペア比較は「同一ラウンドに参加した場合のみ」比較する交差ベース更新を採用するが、参加頻度の低いモデル同士は互いに比較される機会が少ないままレーティングが収束しにくい可能性がある。この構造的な比較不足は、モデル選定バイアス(頻繁に参加するモデルほど有利になる)を生まないか。 ## 関連 - [[TS-Arena]] — 本概念(FPRP)を実装するプラットフォーム本体。 - [[時系列基盤モデル]] — FPRPで評価される対象モデル群(Chronos-2・TiRex・Sundial・TimesFM等)。 - [[ベンチマーキング]] — アクティブ/パッシブベンチマーキングという一般的な方法論との対比。FPRPは「実行中に観測する」という意味でのアクティブ性とは異なる軸(時間的非存在)で漏洩を防ぐ。 - [[TimescaleDB]] — FPRPのラウンド管理・SCD2アーカイブを支える時系列データベース基盤。 ## 出典 - [[@2026__arXiv__TS-Arena - A Live Forecast Pre-Registration Platform]] §1〜§3, §5〜§7