# データベース性能異常ベンチマーク ## 定義 データベース性能異常ベンチマークとは、OLTP などのトランザクション型データベースで発生する性能異常(スロークエリ・スループット低下等)を**決定論的に再現**し、機械学習モデルの訓練・評価に使える監視メトリクスデータセットを提供するための体系的な取り組みである。単にデータを収集するだけでなく、各異常の根本原因から設計された再現手順・検証条件・多様なシナリオ設定・複合異常生成アルゴリズムをセットで提供することが要件とされる。([[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) ## 背景 異常診断に機械学習を適用する場合、大量の訓練データが必要だが、産業・学術ともに性能異常データが深刻に不足している。主な理由は以下だ。 - **検出率の低さ**: 複雑なワークロード中での性能劣化を特定・ラベル付けすることが困難。 - **記録習慣**: DBA は通常、異常の発現・原因・診断・修正手順を記録するが、機械学習に必要な監視メトリクスの時系列は保存されにくい。 - **多様性の欠如**: 既存の小規模データセットでは汎化能力が制限される。 ## 横断的知見 - **決定論的再現が根本**: ストレステストで受動的に異常を待つ従来法は根本原因の特定が困難。根本原因から設計した再現手順(determinate reproduction)により、ラベル付きデータを確実に生成できる。DBPA はこの方針で 9 種の異常の再現手順を形式化した最初のベンチマークである。(Source: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) - **既存データセットの規模はいずれも ML 訓練に不十分**: DBSherlock (396 件・3 環境)、ISQUAD (319 件・多様なサービス)、AutoMonitor (200 件・多様スループット) はいずれも小規模。DBPA は 15,160+ サンプルを提供し、多様な環境・設定をカバーする。(Source: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) - **システム環境の差異は最も大きい多様性軸**: DBPA の多様性検証では、同一環境内での精度は約 98% だが、他環境でテストすると 15〜44% まで落ちる。ワークロード差は 73〜88% 程度。環境(CPU/メモリ規模)がモデルの汎化にとって最も支配的な因子であることを示す。(Source: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) - **複合異常の生成はメトリクスの有意差判定が鍵**: 全メトリクスを回帰モデルで生成すると計算コストが高い。有意差のあるメトリクスだけを機械学習(同一カテゴリ: Random Forest、異なるカテゴリ: LightGBM)で生成し、残りは平均値で代替することで効率と精度を両立させた。生成データ上での診断 F1 スコアは実データと統計的に有意な差がない。(Source: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) - **ベンチマークの有効性はアルゴリズム差を明確に示す**: DBPA 上の評価実験では XGBoost・LightGBM が AutoMonitor(KNN 系)を約 20 ポイント以上上回る。機械学習が使えるようになること自体がベンチマークの主要な貢献であることが示された。(Source: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]) ## 未解決の問い - クラウドマネージド DB(Amazon RDS、Aurora 等)や分散 DB の固有異常(ネットワーク分断・レプリカ遅延など)をカバーするベンチマークは存在するか。 - 3 種以上の異常が同時発生する複合異常を高精度に生成するアルゴリズムはあるか(DBPA は 2 種の組み合わせに限定)。 - 異常パターンが LLM を使った診断にどう活用できるか(D-Bot や DBAIOps などと DBPA を組み合わせたとき何が変わるか)。 - 同一ベンチマークデータセットを使った DBPA vs. OpDiag のような新しい診断手法の比較がどこかで行われているか。 ## 関連 - 親 concept: [[データベース自律診断]] / [[データベース O&M]] - 隣接 concept: [[異常検知]] / [[根本原因分析]] - ソース: [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]] - 関連 entity: [[Bin Cui]] / [[Shiyue Huang]] / [[ZTE Corporation]] / [[Peking University]] ## 出典 - [[@2023__PACMMOD__DBPA - A Benchmark for Transactional Database Performance Anomalies]]