# 時系列データベースベンチマーク ## 定義 時系列データベースベンチマーク(TSDB Benchmark)とは、複数の時系列データベースシステム(TSDB)の性能・機能・スケーラビリティを統一条件で比較評価するための実験的枠組みである。ベンチマークは通常、(1) データセット、(2) クエリセット、(3) ワークロード、(4) 評価指標（クエリレイテンシ・取り込みスループット・圧縮率・スケーラビリティ等）の 4 要素で構成される（[[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]]）。 優良なベンチマークが備えるべき要件として Khelifati ら (2023) は 3 つを挙げる: (1) 多様な性能指標（クエリレイテンシ・スループット・取り込みレート・スケーラビリティ）の実装、(2) 現実的なデータの大規模生成、(3) ボトルネックの根本原因をデバッグできる詳細結果。 ## 横断的知見 - **既存ベンチマークの共通課題は「オフライン評価のみ」「静的パラメータ」「狭い現実データ」のいずれかの制限**: SciTS・SmartBench は読み書き分離のオフライン評価しか提供せず、TS-Benchmark・IoTDB-Benchmark は動的なクエリパラメータ変動をサポートしない。YCSB-TS・TSBS・ClickBench は単純な集計クエリのみで、監視アプリケーションが必要とするアップサンプリング・相関・クロス平均等の複合クエリを欠く。(Source: [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] Table 1) - **監視アプリケーションのベンチマークにはオンラインワークロード（同時挿入＋クエリ）が不可欠**: ストリーミングデータ環境では取り込みとクエリが競合するが、既存ベンチマークの多数はこれを無視して取り込みとクエリを別々に評価する。TSM-Bench がオンラインワークロード層を追加した結果、オフライン評価では明確でなかった「高挿入レート下での InfluxDB の優位性」や「eXtremeDB の挿入時クエリ不安定性」が顕在化した。(Source: [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] §5.3) - **「単一の最適 TSDB は存在しない」という知見がベンチマークによって定量的に裏付けられた**: TSM-Bench の 7 システム比較では、クエリ選択性・データセット規模（長系列 vs 多系列）・挿入レートという 3 軸が最良システムを決定する。クエリキャラクタライゼーションなしにシステムを選定することが適切でないことをベンチマークが実証する。(Source: [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] §6) - **産業用ワークロードによるクラウド TSDB ベンチマーク(2014)は IT 監視向けシステムが産業用途で失敗しうることを最初に示した**: Goldschmidt ら(IEEE CLOUD 2014、[[@2014__IEEE CLOUD__Scalability and Robustness of Time-Series Databases for Cloud-Native Monitoring of Industrial Processes]])はスマートグリッドドメムの 2 ワークロード(PMU Write・SmartMeter Write)を定義し、最大 36 ノードの AWS 上で 3 OSS TSDB を評価した。この研究は TSM-Bench(2023)より 9 年早く、クラウドインフラ上の TSDB に対して現実的な産業ワークロードを適用した最初の体系的ベンチマーク。TSM-Bench が IT 監視ワークロードに特化するのに対し、本研究は工場センサ・スマートメータという産業ワークロードの特殊性(持続的高密度書き込み・ピーク需要・長時間蓄積)を体系化した。(Source: [[@2014__IEEE CLOUD__Scalability and Robustness of Time-Series Databases for Cloud-Native Monitoring of Industrial Processes]] §III-A, [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] Table 1) - **「過負荷時のロバスト性(グレースフルデグラデーション)」はスループット・レイテンシと同等に重要なベンチマーク指標だが、標準化されていない**: Goldschmidt ら(IEEE CLOUD 2014)は 5 仮説のうち仮説 4「レジリエンス」として過負荷時・ノード障害時の挙動を体系的に評価した。KairosDB がバックプレッシャーで安定したのに対し、OpenTSDB はバックエンド障害をクライアントに伝えずに受け入れを継続し、Databus は急激なトラフィック増加で CPU 張り付きから回復できなかった。TSM-Bench(2023)のベンチマーク体系にロバスト性評価は含まれておらず、この軸は TSDB 比較研究で現在もギャップとして残る。(Source: [[@2014__IEEE CLOUD__Scalability and Robustness of Time-Series Databases for Cloud-Native Monitoring of Industrial Processes]] §III・§V, [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] §2) ## 未解決の問い - 混合クエリワークロード（Q1〜Q7 が同時に発行される）とマルチテナントシナリオ(TSM-Bench §7 の将来計画)でシステム順位はどう変わるか。 - エネルギー消費・クラウドコストを評価指標に加えたとき、最適なシステム選択は変わるか。 - 時系列基盤モデル([[時系列基盤モデル]])の推論をインデータベースで行う場合、既存 TSDB ベンチマークにどのような追加ワークロード（ML 推論クエリ）が必要か。 - 水位・温度センサーデータを対象とした TSM-Bench の知見は、IoT・ヘルスケア・電力グリッド等の他ドメイン監視データにどこまで一般化できるか。 - Goldschmidt ら 2014 が産業ワークロードで評価したのは 2013 年末時点の初期バージョンだが、10 年後の現代の KairosDB・OpenTSDB 後継(HBase 2.x ベース)は同等の産業ワークロードでどう動くか。TSM-Bench の枠組みに産業ワークロードを追加する標準化は検討されているか。 - 過負荷時ロバスト性(バックプレッシャー・グレースフルデグラデーション)は TSM-Bench や YCSB-TS に含まれていないが、産業・IoT 用途では重要な指標である。これをベンチマーク指標として定式化・標準化するアプローチはあるか。 ## 関連 - ソース: [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]] / [[@2014__IEEE CLOUD__Scalability and Robustness of Time-Series Databases for Cloud-Native Monitoring of Industrial Processes]] - 概念: [[時系列データベース]] / [[時系列データ生成]] / [[専用データベースシステム]] / [[近似クエリ処理]] / [[SRE Benchmark]] / [[産業用監視システム]] - エンティティ: [[Abdelouahab Khelifati]] / [[eXascaleInfolab]] / [[University of Fribourg]] / [[Thomas Goldschmidt]] / [[ABB Corporate Research]] / [[KairosDB]] / [[OpenTSDB]] / [[Databus]] ## 出典 - [[@2023__PVLDB__TSM-Bench - Benchmarking Time Series Database Systems for Monitoring Applications]]（TSM-Bench: 7 TSDB の包括比較・TS-LSH データ生成・3 層ワークロード・クエリ変動評価） - [[@2014__IEEE CLOUD__Scalability and Robustness of Time-Series Databases for Cloud-Native Monitoring of Industrial Processes]]（産業用ワークロード(PMU・スマートメータ)による初期クラウド TSDB ベンチマーク・5 仮説検証・ロバスト性評価）