# Eagle (OpsLLMベンチマーク) Operations Large Language Model(OpsLLM)を評価するための包括的ベンチマークフレームワーク。[[Tsinghua University]]・[[Computer Network Information Center, Chinese Academy of Sciences]]・[[Huawei Technologies]]・[[China Academy of Information and Communications Technology]] の共同で開発され、Eagle 論文([[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]、FSE Companion '26)で提案された。(Source: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]) Knowledge Extraction([[DirDiver]] アルゴリズムによる文書階層走査を含む)→ QA Generation → Quality Validation(Critic Model + RAG ベース Answer Model)→ Expert Annotation の4段階パイプラインで、Ops ドキュメントからドメイン根拠付き QA ペアを自動生成する。Understanding・Memory・Generation・Agent・Logic・Extraction の6つのコア能力と、Pre-Event/In-Event/Post-Event の3 Ops フェーズ、6つのデータモダリティ(NL・Logs・Time Series・Traces・Configuration・Code)を軸とするタクソノミーを持つ。 [[Huawei Technologies]] 社内に6ヶ月間デプロイされ、企業ドキュメントから4,845件の QA ペアを合成、モデル選定・ロールアウト判断に用いる社内横断ベンチマークレポートを生成した。オフライン評価では専門家評点ルーブリックスコアでベースライン [[Bonito]]・[[Forge (5G Instruct Forge)]] を22%〜49%上回った。フレームワークとサニタイズ済みデータセットをオープンソース化している(https://github.com/NickLennonLiu/eagle_code/ 、https://github.com/NickLennonLiu/eagle_data/)。 ## 関連 - ソース: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]] - 開発組織: [[Tsinghua University]] / [[Computer Network Information Center, Chinese Academy of Sciences]] / [[Huawei Technologies]] / [[China Academy of Information and Communications Technology]] - 構成アルゴリズム: [[DirDiver]] - 比較対象: [[Bonito]] / [[Forge (5G Instruct Forge)]] - 概念: [[LLM評価]] / [[AIOps]]