# エージェント軌跡評価 ## 定義 LLM エージェントの実行を、最終回答の正誤(outcome-level)だけでなく、エージェントが実際に辿った推論・行動・観測の系列(軌跡, trajectory)そのものに対して評価すること。最終回答は同じ正解でも強い証拠に支えられる場合と弱い証拠に支えられる場合があり、誤った回答も失敗した推論を検査できて初めて継続的改善に使える、という着想に基づく。評価には軌跡が何を復元すべきだったかを示すドメインレベルの正解(タスク固有の process-level ground truth)が必要になる。 ## 軌跡の系列化とラベリング - エージェントの推論は思考・行動・結果の三つ組の順序列として表現でき、行動を単位に per-round のラベル(ナビゲーション遷移・証拠利用・診断意図など)を機械的に付与できる。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) - タスク固有のドメインレベル正解(RCA ではサービスレベルの障害伝播経路)を持たない軌跡分析は、軌跡が何と比較して良い/悪いかを判定できず、事後的なパターン発見にとどまる。逆に、統計的に推定された依存グラフのような正解は、インシデント固有の実際の経路を表さないため軌跡評価の基準として不十分。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) - 正解経路上に留まる挙動(navigation)と、直前の観測結果に対して実際に行動しているか(evidence utilization)は独立した軸として分離して計測できる。両者を混同すると、経路上に留まっているだけで証拠を無視している失敗を見逃す。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) ## outcome-level 指標との乖離 - 最終回答の正解率(outcome-level accuracy)は、エージェントがタスクの構造(RCA では障害の影響が及ぶサービスと辺の集合=fault-impact surface)をどれだけ完全に復元したかを覆い隠す。正しく箇所特定できたケースでも、経路の再構築度は途中で頭打ちになる。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) - バックボーンモデルの強さは最終正解率を押し上げても、軌跡が復元する構造の完全性の天井をほとんど動かさないことがある。すなわち「正解率が上がった」ことは「診断過程が改善した」ことを意味しない。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) - 推論予算(ラウンド数・トークン数・コスト)は診断品質を予測しない。誤ったケースの方が正しいケースより多くのラウンドを消費する傾向があり、追加の予算は非生産的な探索を反映するだけで証拠の蓄積にはつながらない。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) ## 誤りの分類と介入への接続 - 軌跡レベルの誤り分析は、失敗した実行を「期待される証拠」に照らして比較することで、少数の再発する失敗ファミリーへと収束させられる(証拠が全く収集されない/収集されても誤読される/根拠のない推論に上書きされる、の三分類)。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) - マイニングされた失敗モードは、失敗の記述にとどまらず、素の推論ループの構造的欠陥(証拠の未収集・未検証)に対応する防御機構の設計仕様として転用でき、held-out のモデル・データセット・ドメイン設定でも有効性を保つ。(Source: [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]) ## 未解決の問い - 軌跡ラベル(ナビゲーション・証拠利用・意図)を強化学習の報酬信号に転用したとき、outcome-level 指標だけを最適化する場合と比べて診断過程の質は実際に改善するか。 - 単一トポロジー・単一ベンチマークで開発された軌跡ラベル語彙は、RCA 以外のドメイン(コーディングエージェント・深層リサーチエージェント)の軌跡評価にどこまで転用できるか。 ## 未編纂の観察 ## 関連 - [[LLMによる根本原因分析]] - [[根本原因分析]] - [[コーディングエージェント評価]] ## 出典 - [[@2026__arXiv__Beyond Fault Localization - A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis]]