# 時系列異常検知ベンチマーク ## 定義 時系列異常検知ベンチマーク(TSAD Benchmark)は、時系列データにおける異常検知アルゴリズムを公平かつ再現可能に比較するための評価基盤である。対象アルゴリズムの選定・データセット収集・評価指標の統一・実行環境の制御・ハイパーパラメータ調整方針の明示が設計の主要課題となる。([[TimeEval]]、[[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) ## 横断的知見 - **既存ベンチマークは構造的に欠陥を持つ**: Wu & Keogh(2021)は「現存するすべての時系列異常検知ベンチマークは欠陥がある」と主張し、ラベルの信頼性低下(汚染率 > 10%)・少数手法の比較・実世界との乖離を共通問題として指摘した。[[TimeEval]] はこれへの回答として 71 手法・976 データセット・制御された合成データ([[GutenTAG]])を投入した。(Source: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **「万能アルゴリズムは存在しない」が実験的に確認された**: [[TimeEval]] の 14 件の実践的知見(RI 1〜14)が示すのは、異常タイプ(極値は易、トレンドは難)・ベース波形(正弦波は易、CBF は難)・次元数(単変量有利)によって最良手法が変わり、完全スコアを達成した手法がゼロだという事実である。これは「ベンチマーク = 単一 SOTA を探す競争」という設計思想の限界を示す。(Source: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **深層学習手法は学習コストに見合う精度優位を示せない**: 1 ソース(TimeEval 2022)の知見だが、先行研究([67])とも一致する再現性の高い発見。平均 AUC-ROC で DWT-MLEAD(分布系・教師なし・2.2 ms/点)がコスト/性能比の最良であり、LSTM 系・VAE 系が同等またはそれ以上のリソースを使いながら安定して優位を示せない。(Source: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **評価指標の選択が結論を左右する**: AUC-ROC は感度優先・AUC-PR は適合率優先・AUC-PT₍R₎T は部分列の境界精度優先で、同一アルゴリズムでも指標次第で順位が逆転する(DeepAnT は AUC-ROC で強いが AUC-PR で弱い)。単一指標ベンチマークが特定用途に偏った評価をもたらすリスクを示す。(Source: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **合成データ生成ツール([[GutenTAG]])がラベル品質問題を迂回する実用解として確立した**: 実世界データセットは「汚染率 > 10%・単一手法でも AUC-ROC ≥ 0.8 未達」という品質フィルタで大量除外が必要だが、GutenTAG は 9 種の異常タイプ × 5 種の基底波形で制御されたデータを生成し、アルゴリズム特性の精密分析を可能にする。(Source: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **LLM × TSAD の役割分業 2 パラダイム**: [[@2025__arXiv__ARGOS - Agentic Time-Series Anomaly Detection with Autonomous Rule Generation via Large Language Models|ARGOS(Gu+ 2025)]] は LLM を**訓練時のルール生成のみ**に使い推論はルール実行(説明可能性・再現性・自律性を同時達成、推論レイテンシ最大 34.3x 高速化)。[[@2025__arXiv__Can Multimodal LLMs Perform Time Series Anomaly Detection|VisualTimeAnomaly(Xu+ 2025)]] は MLLM を**推論時の検知器**として使うが、粗粒度(range/variate)では数値モデル超え、点別では F1 上限 8.12% で大幅劣後。LLM の TSAD 組み込み方は「訓練時ルール抽出」と「推論時検知」で根本的に分化。(Source: [[@2025__arXiv__ARGOS - Agentic Time-Series Anomaly Detection with Autonomous Rule Generation via Large Language Models]] §3–4, [[@2025__arXiv__Can Multimodal LLMs Perform Time Series Anomaly Detection]] §4) - **EVT 系列が現代 TSAD のクラシック理論ベース**: [[@2017__KDD__Anomaly Detection in Streams with Extreme Value Theory|SPOT/DSPOT(Siffer+ 2017)]] が EVT の Peaks-Over-Threshold + GPD でストリーム異常検知を分布仮定なし・閾値手動設定なしで実現。今日の深層学習 TSAD(LSTMAD・MAD-GAN・USAD 等)が訓練済みモデル前提なのに対し、SPOT/DSPOT は確率モデル(GPD)から閾値を導出する。両系統は相補的で、特に cold-start・ラベルなし環境で SPOT が依然有効。(Source: [[@2017__KDD__Anomaly Detection in Streams with Extreme Value Theory]] §2–3) - **LLMAD が KPI/Yahoo/WSD で LLM 直接判定路線の新しいベンチマーク基準を打ち立てた**: [[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]] は KPI・WSD・Yahoo の 3 ベンチマークで平均 Best F1=0.759 を達成し、TFAD(0.725)・Informer(0.700)・Anomaly Transformer(0.621)を上回る。重要な対照は同論文が LLMTime を異常検知ベースラインに使った結果で、LLMTime の平均 Best F1=0.128 と LLMAD の 0.759 は 6 倍近い差。本ページの「LLM × TSAD の役割分業 2 パラダイム(ARGOS の訓練時ルール生成 vs VisualTimeAnomaly の推論時検知)」に第 3 のパラダイム「**Prompting + 履歴 ICL による LLM 直接判定 + 構造化出力**」が加わったことになり、TSAD ベンチマークでの LLM 利用は (a) ルール生成、(b) MLLM 検知、(c) Prompting 直接判定、の 3 路線で比較されるべき段階に入った。(Source: [[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]] §4) - **解釈品質を含めた評価軸が TSAD ベンチマークに加わった**: [[LLMAD]] は Best F1/Delayed F1 の検知精度に加え、(i) 説明の usefulness(5 段階)/readability(3 段階)を 5 名の DevOps エンジニアで評価、(ii) 異常タイプ分類の Acc(any-hit)/Micro F1、(iii) コスト(年間 $65.70)を併せて公開する。TimeEval が「異常タイプ・ベース波形・次元数で最良手法が変わる」と示した精度面の多面性に、**解釈品質と運用コストという業務文脈の評価軸**が追加された。この拡張は本ページの「ベンチマーク = 単一 SOTA を探す競争という設計思想の限界」の議論を、「解釈付き検知器の評価には精度 + 解釈品質 + コストの 3 軸が要る」という方向で具体化したもの。(Source: [[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]] §5-6, [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **RATs40K が「マルチモーダル × 推論アノテーション」ベンチマークの新次元を開いた**: [[@2026__ACL Findings__Time-RA - Towards Time Series Reasoning for Anomaly Diagnosis with LLM Feedback]] の RATs40K は、既存ベンチマークとの対比(表 1)で「実世界・多ドメイン・Time+Text+Image 三モダリティ・単変量 14 種+多変量 6 種分類・Thought アノテーション」が揃った初の構成。AnomLLM(合成・Thought なし)・LLMAD(Thought は 100 件人手)・VisualTimeAnomaly(合成・Thought なし)はいずれも部分的にしかカバーしない。特に異常カテゴリの説明的推論(Observation–Thought–Action)を実世界約 4 万件に付与した点は、LLMAD が開いた「LLM 直接判定 + 解釈出力」路線を「大規模・多カテゴリ・マルチモーダル」で一段スケールアップしたものとして位置づけられる。AI フィードバック(GPT-4 優先選択・批評)の人手専門家との高一致(単変量 Likert 4.04–4.58、多変量 4.08–4.28)は、人手評価 100 件程度では担保できなかった規模でのアノテーション品質を確保できることを示す。(Source: [[@2026__ACL Findings__Time-RA - Towards Time Series Reasoning for Anomaly Diagnosis with LLM Feedback]] §3–4) - **AIOPS・MSCloud という確立済みソフトウェア運用ベンチマークで、ゼロショット TSFM が訓練済み古典/浅い深層モデルに匹敵するが超えない、という具体的な数値が得られた**: [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]] は本ページの疑問「TimeEval の『万能アルゴリズムは存在しない』は 2022 年以降の TSFM にも成立するか」に対し、AIOPS・MSCloud という具体的なソフトウェア運用ベンチマーク上で部分的な回答を与える。ChronosはMSCloudでAUC-PR 2位(0.52、最良のIsolation Forest 0.58に次ぐ)を達成する一方、AIOPSではAR相当(AUC-PR 0.25)にとどまり、「万能アルゴリズムは存在しない」という結論はTSFM世代でも継続する。さらに評価アジャストメント(異常セグメント単位でのk-ステップ遅延許容)を適用すると全モデルのF1_bestが大幅に改善する(例: MSCloud全体でAR 0.66→変化なしだがChronos 0.57→0.68)ことを示しており、これは本ページの「評価指標の選択が結論を左右する」という知見(AUC-ROC/AUC-PR/AUC-PT_RTの順位不一致)に、TSAD特有の「点ごと評価 vs セグメント単位評価」という第4の軸を加える具体例になる。(Source: [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]], [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **KPI 異常検知の産業ベンチマークは TimeEval(2022)より前から年次コンペティション形式で確立していた**: [[@2022__ESEC FSE__Constructing Large-Scale Real-World Benchmark Datasets for AIOps]](Li+, ESEC/FSE 2022 Industry Track)の dataset A は、Sogou・eBay・Baidu・Tencent・Alibaba の 5 社から集めた 27 種類の実世界 KPI(2〜7 か月分・経験豊富なエンジニアによる手動ラベル)を用いて、2018 年に AIOps Challenge(125 チーム参加、最良 F1=0.8216)を開催した。TimeEval が指摘した「既存ベンチマークは欠陥がある」というラベル信頼性・実世界との乖離への懸念は本論文にも当てはまるが、dataset A は少なくとも合成でなく実運用 KPI をエンジニアが手動ラベル付けした点で、TimeEval が投入した合成データ([[GutenTAG]])とは対極の性質を持つ。本ページの「既存ベンチマークは構造的に欠陥を持つ」という TimeEval の指摘を、dataset A のような実世界産業ベンチマークとどう補完すべきかは未整理のまま残る。(Source: [[@2022__ESEC FSE__Constructing Large-Scale Real-World Benchmark Datasets for AIOps]]) - **[[MOMENT]] は 2024 年時点で「万能アルゴリズムは存在しない」を UCR 異常アーカイブ上で再確認しつつ、TSFM が評価指標次第で優劣が入れ替わる新たな一例を提供する**: [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]] は UCR 異常アーカイブ 248 系列で MOMENT(線形プロービング)を TimesNet・GPT4TS・Anomaly Transformer・DGHL・k-NN と比較し、Adj. Best F1 では MOMENT が平均 0.628 で最良となる一方、VUS-ROC では k-NN(0.706)が MOMENT(0.684)をわずかに上回る逆転が生じる。これは本ページが TimeEval・[[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]] から観察した「評価指標の選択が結論を左右する」「TSFM は指標次第で優劣が入れ替わる」という知見を、UCR 異常アーカイブという TimeEval とは異なるベンチマーク上で再現する。[[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]](2026)がソフトウェア運用ドメインで確認した「ゼロショット TSFM は訓練済み手法に匹敵するが最良にはならない」という傾向は、MOMENT(2024・線形プロービング)ではむしろ F1 で最良を達成しており、**ゼロショットか軽量ファインチューニングか**という条件がこの傾向の成否を左右する可能性を示唆する。(Source: [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]], [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]], [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **TSB-ADベンチマーク(40データセット・40アルゴリズム)上での「統計的に有意な単独1位」の実証は、本ページの「万能アルゴリズムは存在しない」テーゼを完全には覆さず、ドメイン粒度で見ると依然として成立する形で共存する**: [[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series|HYDRA]](Huang+, SIGMOD 2026)はTSB-AD([[TimeEval]]の後継格にあたる大規模ベンチマーク、単変量870系列・多変量200系列を9ドメインに整理)上でFriedman+Nemenyi検定(α=0.05)によりVUS-PR平均順位で統計的に有意な最良を達成した。しかし著者ら自身がドメイン別結果(Fig. 7b/d)で明示するとおり、NormAは集合的異常が支配的なMedicalドメインで、Matrix Profileは単一異常が支配的なドメインで依然として高い性能を示す——これは[[TimeEval]]がRI 1〜14で示した「異常タイプ・ベース波形・次元数によって最良手法が変わる」という知見と矛盾せず、「全体平均でのランキング1位」と「特定ドメインでの最良」は両立しうることを、より大規模なベンチマーク上で再確認する具体例になる。TSB-AD自体(Liu & Paparrizos, NeurIPS 2024)は本wiki未取り込みだが、本ページが2022年のTimeEval以来追ってきた「ベンチマーク単一SOTA競争の限界」というテーゼの2024年以降の後継ベンチマークとして注視すべき対象である。(Source: [[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]] §5.2.2, §5.3, Fig. 7, [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - **正規化方式の選択という評価プロトコル上の意思決定そのものが、ベンチマーク結果を左右する第5の軸として具体化された**: 本ページはこれまで「評価指標の選択」(AUC-ROC/AUC-PR/AUC-PT_RT)・「点ごと評価 vs セグメント単位評価」を結論を左右する軸として蓄積してきたが、HYDRAはTSB-AD上でz-score/Min-Max/Unit-length/No-Normの4正規化方式を横断的に評価し、複数の古典ベースライン(KMeansAD・Matrix Profile・Sub-KNN・NormA・Sub-PCA)すべてで非正規化が中央値最高になる一貫した傾向を統計的に実証した(§5.4)。これは「前処理(正規化)の選択」もまた、指標選択・評価粒度と並ぶベンチマーク結果を左右する独立変数であることを具体的な大規模実験で示す。(Source: [[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]] §5.4, [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) ## 未解決の問い - TSB-AD(Liu & Paparrizos, NeurIPS 2024)自体は本wiki未取り込みである。HYDRAが評価基盤として全面的に依拠するこのベンチマークの設計思想(データセット選定基準・9ドメイン分類・TimeEvalとの関係)を直接検証するため、原論文のingestを検討する価値があるか。([[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]]) - HYDRAのドメイン別結果(Fig. 7b/d)は、NormA・Matrix Profileが特定ドメインで依然優位であることを示すが、この「ドメインごとの最良手法」パターンはTimeEvalのRI 1〜14(異常タイプ・ベース波形依存)とどこまで同一の現象か、それとも別の要因(データセットの産業ドメイン特性)によるものか。両ベンチマークの分類軸(TimeEval: 異常タイプ×ベース波形、TSB-AD: 産業ドメイン)を統一的に説明する上位の分類法はあるか。([[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]] Fig. 7, [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - dataset A(AIOps Challenge 2018)のような実世界産業 KPI ベンチマークと、[[TimeEval]]/[[GutenTAG]] のような制御された合成ベンチマークは、それぞれ異なる評価目的(実運用近似 vs アルゴリズム特性の精密分析)を持つ。両者を組み合わせた評価プロトコル(実世界データで最終評価、合成データで失敗モード分析)は確立されているか。(Source: [[@2022__ESEC FSE__Constructing Large-Scale Real-World Benchmark Datasets for AIOps]], [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) - TimeEval が示した「万能アルゴリズムは存在しない」という知見は、2022 年以降に登場した時系列基盤モデル([[Toto]] / [[TimesFM]] 等)にも成立するか。ゼロショット TSFM の異常検知能力はどの異常タイプ・データ特性で従来手法を超えるか。([[時系列基盤モデル]]) - [[GutenTAG]] の合成データは 5 種の基底波形 × 9 種の異常に限定される。実世界の AIOps ドメイン(観測メトリクス・ログ・インシデント信号)の多様性をカバーするために必要な合成データの追加次元は何か。([[異常検知]] § 観測データの正常な急変動問題) - TimeEval の Docker ベースのコンテナ単体制限(1 コア・3 GB)は深層学習手法に不利な条件を設定する。GPU あり・マルチコア設定での比較結果は変わるか。「深層学習は不利」という RI 1〜14 の結論はどこまで普遍的か。 - 評価指標の三者(AUC-ROC / AUC-PR / AUC-PT₍R₎T)が示す順位の不一致は、ベンチマーク設計として「用途依存の指標選択」が必要だという事実を意味する。実運用(AIOps インシデント対応)での最適指標は何か。([[本番接地型ベンチマーク]]) - Wu & Keogh 2021 の「ベンチマークが欠陥」という批判は [[TimeEval]] の設計で緩和されたが、97 手法中 10 件(タイムアウト/クラッシュ)の除外が評価の偏りをどの程度生んでいるか。 - 訓練時 LLM ルール生成(ARGOS)と推論時 MLLM 検知(VisualTimeAnomaly)を直列化したパイプラインの実証研究は未着手。前者の構造化ルールを後者の visual prompt に渡す統合は理論的に成立しうるが事例なし。 - [[LLMAD]] が示した「LLM 直接判定 + 解釈出力」路線と、[[@2025__arXiv__ARGOS - Agentic Time-Series Anomaly Detection with Autonomous Rule Generation via Large Language Models|ARGOS]] の「訓練時ルール生成 + 推論時ルール実行」路線、[[@2025__arXiv__Can Multimodal LLMs Perform Time Series Anomaly Detection|VisualTimeAnomaly]] の「推論時 MLLM 検知」路線をベンチマーク的に同一データ・指標で比較した研究は未着手。LLMAD が KPI/WSD/Yahoo で示した Best F1=0.759 は単変量ベンチマークでの結果で、多変量(SMD/MSL/SMAP 等)での比較も未実施。([[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]]) - LLMAD の人手評価(5 名 × 100 サンプル)は usefulness/readability の解釈品質を測るが、サンプル数とラベラー数が小さい。解釈品質ベンチマークを独立に整備する場合、ラベラー数・タスク数・データセット多様性をどう設計すべきか。 - RATs40K の AI フィードバック品質は単変量 Likert 4.04–4.58・多変量 4.08–4.28 で人手専門家と高一致するが、エキスパート評価が 100 件・50 件と限定的。大規模 AI フィードバックによる推論アノテーションは、人手評価を「品質のサンプル確認」に限定できる段階に入ったといえるか、それとも依然として人手評価の大規模化が必要か。([[@2026__ACL Findings__Time-RA - Towards Time Series Reasoning for Anomaly Diagnosis with LLM Feedback]] §4.2) - [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]] は AIOPS・MSCloud の 2 データセットのみ・単変量のみで評価している。TimeEval の 976 データセット規模での TSFM(Chronos・TSPulse)の系統的評価は未着手であり、TimeEval の RI 1〜14(異常タイプ・ベース波形・次元数依存の最良手法変化)が TSFM にどこまで当てはまるかは未検証。([[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]], [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]]) ## 関連 - 概念: [[異常検知]] / [[時系列基盤モデル]] / [[本番接地型ベンチマーク]] / [[LLM評価]] / [[時系列質問応答]] / [[LLM時系列アプローチ]] - エンティティ: [[TimeEval]] / [[GutenTAG]] / [[Sebastian Schmidl]] / [[Phillip Wenig]] / [[Hasso Plattner Institute]] / [[LLMAD]] / [[AnoCoT]] / [[Anomaly Transformer]] - ソース: [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]] / [[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]] / [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]] / [[@2022__ESEC FSE__Constructing Large-Scale Real-World Benchmark Datasets for AIOps]] / [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]] / [[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]] - 関連 MOC: [[異常検知 - MOC]] / [[AIOps - Failure Detection - MOC]] ## 出典 - [[@2026__SIGMOD__HYDRA - A Multi-Level Hierarchy-Driven Approach for Robust Anomaly Detection in Time Series]](Huang+, SIGMOD 2026 — §5.1.2 TSB-ADデータセット構成、§5.2.2 Friedman+Nemenyi統計検証、§5.3 ドメイン別結果、§5.4 正規化方式横断比較) - [[@2022__PVLDB__Anomaly Detection in Time Series - A Comprehensive Evaluation]](PVLDB 2022, §1 概要, §3 手法ファミリー, §4 実験評価, §5 討論) - [[@2025__KDD__Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection]](KDD 2025, §4 KPI/WSD/Yahoo の Best F1/Delayed F1 評価と ablation、§5 解釈評価、§6 コスト分析、Table 2-8) - [[@2026__ICPE Companion__Leveraging Time Series Foundation Models to Detect Performance Anomalies in Software Systems]](ICPE Companion '26, Table 1/2: AIOPS・MSCloud での Chronos・TSPulse ゼロショット評価とベースライン比較、§3.4 評価アジャストメント) - [[@2022__ESEC FSE__Constructing Large-Scale Real-World Benchmark Datasets for AIOps]](ESEC/FSE 2022 Industry Track, §3 dataset A の構成・27 KPI・AIOps Challenge 2018 結果) - [[@2024__ICML__MOMENT - A Family of Open Time-series Foundation Models]](§4.1 Table 7: UCR異常アーカイブ248系列でのAdj. Best F1/VUS-ROC評価)