# OpenRCA LLM の根本原因分析(RCA)能力を評価する公開ベンチマークデータセットおよび評価フレームワーク([[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]], ICLR 2025)。コード・データは GitHub で公開。(Source: [[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures|2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]]) - 3 つの実世界エンタープライズシステム(Telecom / Bank / Market)由来の 335 障害と 68GB 超のテレメトリ(metrics/traces/logs)からなる。原データは AIOps Challenge series(2018〜)で、ライセンスは CC BY-NC 4.0。(表1, §2.4) - RCA を「目標駆動(goal-driven)」タスクとして定式化:根本原因の 3 要素(originating component / start time / failure reason)の部分集合を 7 種のタスクとして自然言語クエリで問い、構造化 JSON で答えさせる。評価は全要素一致で 1 点の二値。(§2.3) - 著者らはプログラム合成・実行ベースのマルチエージェント系 [[RCA-agent]] を併せて設計したが、最良の Claude 3.5 Sonnet でも完全解決率は 11.34% にとどまる。(表2) ## 関連 - 本ソース: [[@2025__ICLR__OpenRCA - Can Large Language Models Locate the Root Cause of Software Failures]] - 構築者: [[Junjielong Xu]] / [[Pinjia He]] / [[Shilin He]] / [[Dan Pei]] - 所属: [[The Chinese University of Hong Kong, Shenzhen]] / [[Microsoft]] / [[Tsinghua University]] - 関連概念: [[根本原因分析]] / [[SRE Benchmark]] / [[AIOps]] / [[テレメトリ]] / [[agentic SRE]]