# RCAEval [[Luan Pham]] らがマイクロサービス RCA の標準ベンチマークとして整備してきた評価フレームワーク。最初は [[@2024__ASE__Root Cause Analysis for Microservices based on Causal Inference - How Far Are We]]([[Luan Pham]]・[[Huong Ha]] @ [[RMIT University]] と [[Hongyu Zhang]] @ [[Chongqing University]])のメトリクス系・因果推論ベース RCA 評価環境として登場し、その後 [[@2025__WWW Companion__RCAEval - A Benchmark for Root Cause Analysis of Microservice Systems with Telemetry Data]]([[Luan Pham]]・[[Huong Ha]]・[[Xiuzhen Zhang]] @ RMIT、[[Hongyu Zhang]] @ [[University of Newcastle]]、[[Flora Salim]] @ [[University of New South Wales]])でトレース系・マルチソース系・コードレベル障害まで拡張された。 - GitHub: https://github.com/phamquiluan/RCAEval - データセット: https://zenodo.org/records/13305663 - ソースコードアーティファクト: https://doi.org/10.5281/zenodo.13294049 - PyPI でインストール可能なライブラリとして配布。 ## 構成(2025 年 WWW Companion 版) - **データセット**: RE1(375 ケース、メトリクスのみ、CPU/MEM/DISK/DELAY/LOSS)・RE2(270 ケース、3 モダリティ、リソース 4 + ネットワーク 2)・RE3(90 ケース、3 モダリティ、コードレベル F1〜F5)。計 735 ケース・11 種の障害タイプ。 - **マイクロサービス**: [[Online-Boutique]](12 サービス・gRPC)・[[Sock Shop]](15 サービス・HTTP)・[[Train-Ticket]](64 サービス・HTTP+非同期)。 - **ベースライン 15 種**: メトリクス系(BARO・CausalRCA・CIRCA・RCD・MicroCause・EasyRCA・MSCRED・ε-Diagnosis・RUN)・トレース系(TraceRCA・MicroRank)・マルチソース系(PDiagnose・multi-source BARO/RCD/CIRCA)。 - **指標**: AC@k と Avg@k。coarse-grained(root cause service)と fine-grained(root cause indicator)の両粒度。 ## 関連 - ソース: [[@2024__ASE__Root Cause Analysis for Microservices based on Causal Inference - How Far Are We]] / [[@2025__WWW Companion__RCAEval - A Benchmark for Root Cause Analysis of Microservice Systems with Telemetry Data]] - 開発機関: [[RMIT University]] / [[University of Newcastle]] / [[University of New South Wales]] - 開発者: [[Luan Pham]] / [[Huong Ha]] / [[Hongyu Zhang]] / [[Flora Salim]] / [[Xiuzhen Zhang]] - 評価対象システム: [[Online-Boutique]] / [[Sock Shop]] / [[Train-Ticket]]