# OpenRCA LLM の根本原因分析(RCA)能力を評価する公開ベンチマークデータセットおよび評価フレームワーク([[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]], ICLR 2025)。コード・データは GitHub で公開。(Source: [[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures|2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]]) - 3 つの実世界エンタープライズシステム(Telecom / Bank / Market)由来の 335 障害と 68GB 超のテレメトリ(metrics/traces/logs)からなる。原データは AIOps Challenge series(2018〜)で、ライセンスは CC BY-NC 4.0。(表1, §2.4) - RCA を「目標駆動(goal-driven)」タスクとして定式化:根本原因の 3 要素(originating component / start time / failure reason)の部分集合を 7 種のタスクとして自然言語クエリで問い、構造化 JSON で答えさせる。評価は全要素一致で 1 点の二値。(§2.3) - 著者らはプログラム合成・実行ベースのマルチエージェント系 [[RCA-agent]] を併せて設計したが、最良の Claude 3.5 Sonnet でも完全解決率は 11.34% にとどまる。(表2) - 後続研究 OpenRCA 2.0([[@2026__arXiv__OpenRCA 2.0 - From Outcome Labels to Causal Process Supervision]])は名称こそ同一系譜を名乗るが別のベンチマーク(TrainTicket・OpenTelemetry Demo・DeathStarBench Hotel Reservation の 3 システム・500 インスタンス)であり、原データも OpenRCA 1.0 の実世界エンタープライズ障害記録ではなく [[障害注入]] による合成障害である。共通するのは著者([[Junjielong Xu]]・[[Pinjia He]])と、根本原因の同定という目標のみで、OpenRCA 2.0 は根本原因ラベルに加えて段階的な因果伝播経路のラベル(PAVE パイプラインで生成)を持つ点が最大の違い。(Source: [[@2026__arXiv__OpenRCA 2.0 - From Outcome Labels to Causal Process Supervision]]) - [[@2026__arXiv__How Far Can Root Cause Analysis Go on Real-World Telemetry Data?]]([[QPIAI]] India、arXiv 2026-07)は OpenRCA 1.0 の Market/Telecom/Bank 全ドメインを対象に、著者定義の OpenRCA agent ベースライン(GPT-5.2 使用、Market CB1 Full=11.43)を Structured Multi-Agent RCA(DK ON、Telecom Full=56.86 等)で大幅に上回った。また [[GALA]]・[[RCLAgent]] を含む既存 LLM ベースマルチエージェント系と、Granger/PC/FCI/LiNGAM/NTLR の非 LLM 因果発見手法(1 ウィンドウ 30 タイムスタンプという極小サンプル数で Accuracy@1/@10 とも全て 0)が OpenRCA 上で確実に失敗することを横並びで実証した。reverse reasoning agent による誤り分析では、Market CB1(DK OFF)の失敗の大半が証拠が存在するのに使えない Reasoning Gap であり、証拠が真に欠落する Data Ambiguity は少数にとどまることを示した。(Source: [[@2026__arXiv__How Far Can Root Cause Analysis Go on Real-World Telemetry Data?]]) ## 関連 - 本ソース: [[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]] / [[@2026__arXiv__OpenRCA 2.0 - From Outcome Labels to Causal Process Supervision]] / [[@2026__arXiv__How Far Can Root Cause Analysis Go on Real-World Telemetry Data?]] - 構築者: [[Junjielong Xu]] / [[Pinjia He]] / [[Shilin He]] / [[Dan Pei]] - 所属: [[The Chinese University of Hong Kong, Shenzhen]] / [[Microsoft]] / [[Tsinghua University]] - 関連概念: [[根本原因分析]] / [[SRE Benchmark]] / [[AIOps]] / [[テレメトリ]] / [[agentic SRE]] / [[RCA評価設計]]