# NIKA NIKA(Network Incidents benchmarKing FrameworK for AI Agents)は、Kathará(Docker コンテナベースのネットワークエミュレータ、Bonofiglio ほか NOMS 2018)上に構築され、Model Context Protocol(MCP)経由で各トポロジを LLM エージェントに公開する公開ネットワーク故障診断ベンチマークである。[[Zhihao Wang]]・[[Alessandro Cornacchia]]・[[Alessio Sacco]]・[[Franco Galante]]・[[Marco Canini]]・[[Dingde Jiang]] が "A Network Arena for Benchmarking AI Agents on Network Troubleshooting"(arXiv:2512.16381, 2025、[[@2025__arXiv__A Network Arena for Benchmarking AI Agents on Network Troubleshooting]])で提案した一次論文が本ページの主要な出典である。 データセットは 5 ネットワークシナリオ(データセンター CLOS・3 層キャンパス・ISP バックボーン・SDN 対応クラウド POP ファブリック・P4 プログラマブルテストベッド)にまたがる 54 種の根本原因を含む 640 通りのインシデントで構成され、うち 4 シナリオは小・中・大の 3 トポロジサイズでインスタンス化できる。Agent Access Layer (AAL) が MCP 経由で 30 種類超のツール(能動計測・受動テレメトリ・テレメトリ取得)をエージェントに公開する。評価は、検知(二値の異常判定)・箇所特定(故障デバイス/コンポーネントの多クラス選択)・根本原因分析(RCA、根本原因の推定を追加)という 3 階層のゴールに対し、混同行列から導出される精度で判定する(一次論文 §3.3.3)。効率指標として時間・トークン使用量・ツール呼び出し回数、および診断中のフローレイテンシ・パケットロスに基づく SLO 違反も記録する。障害注入は Linux Traffic Control(リンクレベル)・stress-ng(ソフトウェア資源競合)・カスタムスクリプト(デバイスレベル)で行う。詳細は [[ネットワークトラブルシューティングエージェントベンチマーク]] を参照。 [[@2026__arXiv__SADE - Symptom-Aware Diagnostic Escalation for LLM-Based Network Troubleshooting]] は NIKA の held-out 523 インシデントスライスを用いて [[SADE]] を評価し、標準の故障インジェクタが一部の故障ファミリで意図した故障を常に注入するとは限らないという妥当性の課題を報告している(rescue-and-verify パイプライン `run_nika_break` で対処)。 > [!contradiction] 評価尺度の記述に食い違い > [[@2026__arXiv__SADE - Symptom-Aware Diagnostic Escalation for LLM-Based Network Troubleshooting]] は「NIKA の LLM-as-judge プロトコル(`gpt-5-mini` 使用、関連性・正確性・効率性・明瞭性・最終結果の5軸ルーブリック)」を用いたと述べるが、NIKA 一次論文([[@2025__arXiv__A Network Arena for Benchmarking AI Agents on Network Troubleshooting]]、全文精読済み)の評価器節(§3.3.3)は混同行列ベースの精度と効率指標のみを記述し、LLM-as-judge やルーブリック採点への言及がない。SADE 独自に構築した judge プロトコルを NIKA 由来と誤って表現している可能性、または NIKA の GitHub 実装(https://github.com/sands-lab/nika)が本 arXiv 投稿後にルーブリック評価を追加した可能性のいずれかが考えられるが未確認。 ## 関連 - ソース: [[@2025__arXiv__A Network Arena for Benchmarking AI Agents on Network Troubleshooting]](一次論文)・[[@2026__arXiv__SADE - Symptom-Aware Diagnostic Escalation for LLM-Based Network Troubleshooting]](評価利用) - 提案者: [[Zhihao Wang]]・[[Alessandro Cornacchia]]・[[Alessio Sacco]]・[[Franco Galante]]・[[Marco Canini]]・[[Dingde Jiang]] - 評価対象システム: [[SADE]] - 基盤エミュレータ: Kathará(Docker コンテナベースのネットワークエミュレータ) - 概念: [[ネットワークトラブルシューティングエージェントベンチマーク]]・[[エージェント型ネットワーク障害診断]]