@2026__KDD__TSRBench : Benchmarking Time-Series Retrieval

> [!abstract] 概要(Abstract 日本語訳) > 時系列検索(Time series retrieval, TSR)は、運用分析・インシデントトリアージ・根本原因診断における基礎的なプリミティブである。しかし、目的に合わせて構築されたデータセット、標準化された評価プロトコル、そして TSR の多目標(multitarget)な性質に整合した指標を統合するエンドツーエンドのベンチマークが存在しないことが、この分野の進展を妨げている。本論文は TSRBench を導入する。これは、モジュール式の距離ライブラリパイプラインの下で、古典的な距離ベースの検索とエンコーダベースの検索の両方を評価するベンチマークスイートである。TSRBench は (i) UCR-R を含む。これは UCR から再構成された公開検索データセットであり、形状一貫性のある関連性とラベル起因ノイズを低減するために注意深く設計されたディストラクタプールを持つ。また (ii) CU-RCA を含む。これはトップクラスの通信事業者から得た新しい匿名化産業用テレコムデータセットであり、根本原因分析のための検索の有用性を測定するインシデント中心のプロトコルを持つ。1 件の最近傍を検索するだけで欺瞞的に高いスコアが得られてしまう、蔓延している single hit dominance 現象に対処するため、我々は適応的なベース割引ファミリーを持つ AB-NDCG と AB-MAP を含む AdaBase Ranking Scorecard を提案する。ベンチマーク結果は、Hit@K が UCR-R 上でしばしば飽和する一方で AdaBase は識別力を保持することを示す。グリッド制御実験はさらに、ディストラクタプールが大きくなるにつれて AdaBase が一貫して低下する一方、従来の指標は鈍感なままであることを確認する。CU-RCA では、上位ランクにおいて単純な統計的距離がいくつかの事前学習済み埋め込みを上回るという実質的な運用ドメインシフトが観測され、産業評価の必要性を裏付ける。TSRBench は https://adeval.cstcloud.cn/tsr で公開されている。 ## 論文情報 - タイトル: TSRBench: Benchmarking Time-Series Retrieval - 著者: Cenjie Hu(第一著者、University of Chinese Academy of Sciences 兼任)、Hang Cui、Zexin Wang、Juncheng Bao、Jingwen Yang、Jingjing Li、Changhua Pei(責任著者、Hangzhou Institute for Advanced Study, UCAS 兼任)、Dan Pei(Tsinghua University)、Gaogang Xie - 所属: Shenyang Institute of Automation, Chinese Academy of Sciences / Computer Network Information Center, Chinese Academy of Sciences / Tsinghua University - 媒体: KDD '26(Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2)、2026-08-09〜13、済州島(Jeju Island)、韓国 - DOI: 10.1145/3770855.3817598 / ISBN 979-8-4007-2259-2/2026/08 - ライセンス: CC BY-NC-ND 4.0 - ベンチマーク公開先: https://adeval.cstcloud.cn/tsr - ソースコード: https://github.com/CSTCloudOps/TSRBench (ℹ️ 推定。PDF 抽出テキストは "https://github.com/CSTCloudOps/TSRBenc" で末尾 1 文字が欠落しており、pdftotext・PyMuPDF の双方で同様に切れる。ハイパーリンク注釈は無く、プロジェクト名から "TSRBench" が正しいと推定したが未確認) ## 概要 TSRBench は時系列検索(TSR)のためのエンドツーエンドベンチマークスイートである。データ層・モデル層・評価層の3層に処理を分離し、距離ベース手法とエンコーダベース手法を共通の「距離ライブラリ」インターフェースで統一的に評価する。開放的なデータセット UCR-R と産業データセット CU-RCA、および single hit dominance を緩和する新指標 AdaBase Ranking Scorecard を提供する。 ## 問題設定 - **入力**: クエリ時系列 $q$ と候補プール $C(q) \subseteq S$(関連集合 $P(q)$ とディストラクタ集合 $D(q)$ の非交和)。 - **出力**: 距離関数またはエンコーダに基づく類似度スコアで候補を順位付けしたランキング $\pi_m(q)$。 - **前提**: TSR は多目標(multitarget)な性質を持ち、典型的にはクエリごとに複数の関連候補($|P(q)| > 1$)が存在する。この点が単一の正解を前提とする分類タスクの流用評価と本質的に異なる。 - **必要なデータ**: 関連性が形状として整合した query-candidate ペアと、意味的な整合性から意図的に切り離された(shape resemblance と semantic alignment を分離する)hard negative を含むディストラクタプール。 ## 提案手法 - **アーキテクチャ(3層パイプライン)**: - **データ層**: クエリ $q$ ごとに候補プール $C(q) = P(q) \cup D(q)$ と関連性関数 $\mathrm{rel}(q,x) \in \{0,\dots,R\}$ を構築する。$R=1$ は二値関連性、$R>1$ は段階的関連性(graded relevance)に対応する。 - **モデル層**: 距離ベース手法は時間領域で直接 $d_m(q,x) = \Delta(q,x)$ を計算する。エンコーダベース手法はエンコーダ $f_\theta$ で埋め込みに写像した後、ベクトル距離 $\delta(\cdot,\cdot)$ で $d_m(q,x) = \delta(f_\theta(q), f_\theta(x))$ を計算する。エンコーダはテスト分割でパラメータ更新をしない固定特徴抽出器として扱われる。 - **評価層**: モデル層が出力する距離ライブラリ $\{d_m(q)\}_{q\in Q} \in \mathbb{R}^{|C(q)|}$ からランキング $\pi_m(q)$ を導出し、標準指標と AdaBase Ranking Scorecard を計算する。距離計算と指標計算を分離することで、距離を再計算せずに新指標での再スコアリングが可能になる。 ![[_attachments/2026_Unknown_TSRBench_Benchmarking_Time_Series_Retrieval/fig01-retrieval-pipeline.png]] (Figure 1. 時系列検索パイプライン。データベースとクエリの双方を前処理(z-norm・リサンプル・欠損処理・埋め込み)した後、Represent bank に対して search を行い Series List を得る。Source: Adapted from Figure 1.) ![[_attachments/2026_Unknown_TSRBench_Benchmarking_Time_Series_Retrieval/fig02-tsrbench-overview.png]] (Figure 2. TSRBench は類似系列検索と産業インシデント中心の根本原因分析検索という 2 つの検索設定を統一する。左から Datasets & Tasks(UCR-R の Similar Series Retrieval と CU-RCA の Industrial Root Cause Analysis、それぞれ Query・Expected Retrieval・Distractor Pool から成る)、中央 Distance Measurement Method(Traditional Distance Measures と Embedding-based Measures を Unified Distance Bank に統合)、右 Evaluation(Hit@k・Map@k・AdaBase Scorecard、産業側は RCA・Farthest Distance Score)。Source: Adapted from Figure 2.) - **UCR-R データセット構築(2 段階)**: 1. **Step (i) 検索集合の再構成**: UCR の各クラスについて支配的な形態モードを特定し、クラス内コア形態から明らかに逸脱するインスタンスを除去する。残った形状一貫性のある集合内の任意の 2 インスタンスを、再構成ラベル下での多目標関連性の候補として扱う。 2. **Step (ii) ディストラクタプールの再構成**: 支配的形態がほぼ区別不能な原クラスのペアを特定し、それらをラベルの曖昧さによる評価の不安定化を避けるため UCR-R から除外する。残りのクラス全体がグローバルなディストラクタリポジトリを構成し、クエリごとにこのリポジトリから関連性定義に従ってディストラクタ集合 $D(q)$ をサンプリングする。 - **品質管理**: 2 名の査読者が独立にスクリーニングと決定案を提示し、合議で不一致を解消する 2 レビュアー・プロトコルで両ステップを実施する。 - **統計**: UCR-R は 46 の再構成形状クラス、2,622 時系列から成る。評価時は各クエリをリポジトリ全体に対して検索するフルコーパス候補プールを用いる。 - **CU-RCA データセット構築(インシデント中心)**: トップクラスの通信事業者のネットワーク機器ノードから収集した KPI 時系列と、異常が観測されたインシデント期間から構築する。インシデント時間窓内で、同一 KPI 種別の健全ノードの系列をディストラクタ、障害ノードの系列を関連ターゲットとして扱う。この構成により、クエリが同一 KPI 種別内で障害ノード系列を健全ノード系列より上位にランクすべきという RCA 指向の検索タスクが得られる。 - **AdaBase Ranking Scorecard**: single hit dominance(1 件の高順位ヒットだけで見かけ上高スコアになり、残りの関連ターゲットの欠落や低順位化を隠してしまう現象)を緩和するため、クエリ難易度に応じて割引スケジュールを適応させる指標ファミリーを提案する。 - クエリ固有のスケールパラメータ $b(q)$(候補対ターゲット比 $|C(q)|/|P(q)|$ 等の関数として、ベンチマークレベルで全手法共通に固定)を導入し、3 種の適応的割引を定義する: $w^{\log}(i;q) = 1/\log_{b(q)}(i+1)$、$w^{\mathrm{lin}}(i;q) = 1/(b(q)+i)$、$w^{\exp}(i;q) = \exp(-i/b(q))$。 - 適応ベース DCG は $\mathrm{AB\text{-}DCG}_\phi(q) = \sum_{i=1}^{|C(q)|} g(\mathrm{rel}(q,x_i))\, w_\phi(i;q)$(利得関数 $g(r)=2^r-1$)で定義し、理想ランキングで正規化した $\mathrm{AB\text{-}NDCG}_\phi = \mathrm{AB\text{-}DCG}_\phi / \mathrm{AB\text{-}IDCG}_\phi$ を得る。 - AB-MAP は、関連候補の位置 $i$ における適応的重み $w_\phi(i;q)$ で重み付けした平均精度として定義され、多目標関連性への感度を保持する。 - $\phi \in \{\log, \mathrm{lin}, \exp\}$ の 3 系列で AB-NDCG・AB-MAP をそれぞれ報告し、リーダーボード的な比較可能性を保ちつつプール難易度・段階的関連性に対する頑健性を向上させる設計とする。 - **産業 RCA 指向指標**: インシデント $e \in E$ ごとに監視系列集合 $S(e)$ とラベル付き根本原因集合 $R(e) \subseteq S(e)$ を定義し、$\mathrm{RCA\text{-}Hit@K} = \frac{1}{|E|}\sum_{e \in E} \mathbb{I}[\min_{x \in R(e)} \mathrm{rank}_m(e,x) \le K]$ で根本原因系列が上位に来ているかを測定する。 ## 新規性 - 既存の検索研究の多くは、分類用に構築されたアーカイブやドメイン固有コレクションを流用しており、比較可能性を制限し検索スコアと運用上の有用性との結びつきを弱めていた。TSRBench は目的に合わせて構築されたデータセット・標準化評価プロトコル・TSR に整合した順位指標・産業妥当性を統合する点が新規性である。 - 一般的な top-$k$ 指標や固定割引スケジュールの標準順位指標は、候補プールの曖昧さ・準重複の頻度・ドメイン意味論に起因する関連性粒度に強く依存する TSR の難易度に対応できていなかった。AdaBase はこの難易度依存性に応じて割引を適応させる点で従来指標と異なる。 - ラベル起因ノイズ(クラス内の形態的逸脱・クラス間の形態的重複)を明示的に除去する 2 段階の UCR-R 再構成プロトコルは、ナイーブな分類ラベル流用と一線を画す。 - 産業インシデントデータでの検索評価(CU-RCA)を学術的順位スコアと補完的に導入し、検索が実際の根本原因診断という意思決定支援にどれだけ寄与するかを測定する点が、既存の学術的検索評価にない視点である。 ## 実験設定 - **データセット**: UCR-R(公開、46 クラス・2,622 時系列、フルコーパス候補プール)、CU-RCA(産業、トップクラス通信事業者のインシデント中心 KPI テレメトリ、匿名化済み)。 - **比較対象(パラダイム別)**: - $\ell_p$ 距離: Euclidean、Manhattan、Chebyshev、modified Euclidean(m-ED)、STS、DISSIM - 弾性アラインメント: DTW、modified DTW(m-DTW)、LCSS、EDR、ERP - 相関・形状: Pearson ベース距離、SBD、STI - シンボリック変換: SAX、1d-SAX、SFA - 自己教師あり埋め込みエンコーダ: TS2Vec、CoST(固定エンコーダとして使用、cosine / $\ell_1$ 距離) - 基盤モデルエンコーダ: Chronos(Chronos2 として評価)、TimesFM、Sundial、TabPFN、TimeMoE、Timer(公開チェックポイントを固定特徴抽出器として使用) - **評価指標**: Hit@K、Precision@K、NDCG、MAP(標準)、AB-NDCG$_{\log,\mathrm{lin},\exp}$・AB-MAP$_{\log,\mathrm{lin},\exp}$(AdaBase)、RCA-Hit@K(産業)。 - **グリッド制御実験**: クエリごとにディストラクタ数 $|D(q)|$ を固定してターゲット数 $|P(q)|$ を変化させる、またはその逆を行い、同一の距離ライブラリを異なる指標スイートで再評価する。 ## 実験結果 - **UCR-R 全体性能(Table 1)**: 複数手法(弾性アラインメント距離・複数のエンコーダベース手法)が Hit@3・Hit@5 で 1.0 近くまで飽和する。AdaBase 上での最高性能は Sundial_l2 で AB-NDCG$_{\log}$ = 0.9610、AB-MAP$_{\exp}$ = 0.8817。Sundial_cos も僅差(AB-NDCG$_{\log}$ = 0.9608)。ERP も AB-NDCG$_{\log}$ = 0.9398 と強い。一方、LCSS(AB-NDCG$_{\log}$ = 0.6434)・SAX(0.6491)・Manhattan(0.6028)は AdaBase 下で大きく劣る。 - **single hit dominance の実証(Figure 3)**: Hit@1・Hit@3 が近い手法同士でも AB-NDCG・AB-MAP は大きく異なる。Hit@K が飽和していても AdaBase は高性能手法間で一貫した分離を生む。 - **グリッド制御実験(Figure 4)**: ディストラクタ数 $|D(q)|$ を増やすと AdaBase は単調に低下するが、従来指標は鈍感なままである。ターゲット数 $|P(q)|$ を増やすと AdaBase・従来指標の双方が規則的に増加する。この結果から、単純な検索設定(小さい候補プール・少数ターゲット)では従来指標で十分だが、複雑な設定(大きなディストラクタプール・高い曖昧性・多目標関連性)では AdaBase が主指標として推奨される、という運用上の指針が導かれる。 - **パラダイム別スコア分布(Figure 5)**: 基盤モデル・自己教師ありエンコーダは全体に高いスコア帯を示すが、TabPFN のようにばらつきが大きい例外もある。弾性アラインメント(ERP・m-DTW)は分布が高く安定する一方、LCSS・SAX は低くばらつきが大きい。 - **精度と効率のフロンティア(Figure 6)**: AB-NDCG$_{\log}$(UCR-R)を精度指標、RCA-Hit@1(CU-RCA)を運用指標として、per-pair scoring latency(ミリ秒)との関係を分析する。最良のランク付きリスト品質は Sundial_l2 で 158.03 ms において達成される。m-ED・SBD はサブミリ秒のスコアリングを提供するが AB-NDCG$_{\log}$ は明確に低い。DISSIM はその中間点を提供する。 - **CU-RCA 産業結果とドメインシフト(Table 2, § 4.6)**: UCR-R とは対照的に、産業インシデント中心データでは単純な統計的距離(Pearson: RCA-Hit@1 = 0.9709、Chebyshev: 0.9159)が優勢になる。運用テレメトリはノイズ・スケーリング効果・環境固有ダイナミクスを含み、ドメイン適応を行わない事前学習埋め込み空間とは整合しない場合があり、この実質的なドメインシフトは産業評価の必要性を裏付ける。 - **類似度選択と検索方向の関係(Figure 7, § 4.7)**: 多くのエンコーダでは cosine 距離と $\ell_2$ 距離の性能差は小さいが、TabPFN・CoST では明確な例外が観測される。UCR-R の順方向検索では cosine が優勢だが、CU-RCA のインシデント検索(逆方向・異常強調の検索)では $\ell_2$ がこれらのエンコーダで有効になる。埋め込みの大きさ(magnitude)情報が、異常・逸脱信号を強調する目的では運用上有用になりうることを示唆する。 ## 考察 - Hit@K のような top-$K$ 指標は UCR-R のような形状一貫性のあるデータセットで容易に飽和し、リスト全体の品質差を覆い隠してしまう。AdaBase はこの飽和後もプール難易度の増加に予測可能に反応し、識別力を保つ。 - 基盤モデルエンコーダ(特に Sundial)と、工夫された弾性アラインメント距離(ERP 等)はいずれも UCR-R 上で高品質な検索リストを生成でき、パラダイムを問わず高性能な手法が存在しうることを示す。ただし LCSS・SBD のような一部の弾性・形状ベース測度はフルコーパスディストラクタ下で脆弱であり、パラダイムラベルだけで手法選択を判断できないことを示す。 - CU-RCA でのドメインシフトの観測は、学術的なベンチマーク上位に来る事前学習埋め込みが必ずしも産業運用で最良とは限らないことを示す実証的根拠であり、著者らは cosine 距離を開放的な順方向 TSR のデフォルトとし、産業的な逆方向検索(異常強調)では $\ell_2$ 距離を検討すべきという実務的指針を導いている。 ## 強み / 弱点・課題 - **強み**: - データ層・モデル層・評価層を分離した距離ライブラリ設計により、距離を再計算せずに新指標での再評価が可能で、再現性・拡張性が高い。 - UCR-R の 2 段階再構成プロトコル(2 レビュアー品質管理付き)により、分類ラベルの流用に伴うラベル起因ノイズを明示的に低減している。 - CU-RCA という実運用のテレコムインシデントデータを用いた産業評価プロトコルにより、学術的順位スコアと運用有用性のギャップを実証的に示した。 - **弱点・課題(論文が明示、または読み取れる限り)**: - CU-RCA は匿名化済みの単一の通信事業者由来データであり、論文自身が言及するように運用テレメトリ特有のノイズ・スケーリング効果・環境固有ダイナミクスに起因するドメインシフトが観測される。これは他業種・他事業者への一般化可能性について明示的な検証が及んでいないことを示唆する。 - AdaBase のスケールパラメータ $b(q)$ は「ベンチマークレベルで固定・全手法共通」とされるが、その具体的な決定関数の詳細な妥当性検証(感度分析等)は本文中に十分示されていない。 - 基盤モデルエンコーダは固定特徴抽出器として評価されており、TSR タスクへのファインチューニングやドメイン適応を行った場合の性能は評価対象外である。