# エージェント障害帰属 ## 定義 エージェント障害帰属(Agent Failure Attribution)は、完了・失敗した LLM エージェントの実行軌跡を事後(post-run)に分析し、(1) 失敗の責任を負う役割(responsible role)と (2) 決定的な誤りを最初に導入した記録ステップ(root-cause step / decisive step)を特定する診断タスク群を指す。[[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] はこれを、責任役割 ρ̂ と根本原因ステップ r̂ を**独立に予測・採点する** 2 つのタスクとして明示的に定式化する——根本原因ステップの発信者(emitter)から役割を推論することは許されず、逆に役割予測が根本原因ステップの選択を左右してもならない。 この問題設定は [[エージェント修復]] (Agent Repair) と隣接するが異なる。エージェント修復は「診断結果を使って実際に実行を修正する」ところまでを射程に含む(AgentTether・PROBE)のに対し、エージェント障害帰属は**診断そのものの正確さ**(誰が・どこで間違えたかを当てられるか)を測定・改善することに閉じる。LongRCA Bench・Who&When・TraceElephant・RootSE・HORIZON 等はいずれも障害帰属ベンチマークであり、修復(repair)は評価対象に含まない。 根本原因ステップの操作的定義は「最終的な評価器確認済み失敗に関連する決定的な誤りを、修復されないまま導入した最も早い記録ステップ」であり、(a) 導入前に修復済みの誤り、(b) 後続の実行・伝播・検知(露見)ステップは根本原因として選ばれない。ハンドオフ(役割 X → 役割 Y の指示)の下では、指示自体が既に決定的誤りを含む場合は指示ステップが、後続の受信ステップが指示から逸脱するか新たな決定的誤りを導入した場合は受信ステップが根本原因となる。この「症状(manifestation)と根本原因(root)を区別し、伝播(propagation)を経由する」という定式化は、マイクロサービス RCA における「アラーム伝播 vs 真因」の区別([[グラフベースRCA]] 参照)と構造的に対応するが、対象がサービス依存グラフではなく**単一〜複数エージェントの意思決定系列**である点が異なる。 ## 横断的知見 - **責任役割の特定と根本原因ステップの厳密な局所化は、精度が大きく乖離する 2 つの異なる診断能力である**: LongRCA Bench の全ベンチマーク結果(Table 4)は、最良手法 RCTA でも responsible-role accuracy 51.1% に対し root-cause exact accuracy はわずか 24.1% にとどまることを示す。ECHO(最強ベースライン)でも role acc. 27.5% に対し exact root は 13.2% と、常に役割特定の方が易しい。この非対称性は「誰が悪いか」を当てるより「どのステップが悪いか」を当てる方が本質的に難しいことを示しており、単一の集約指標(例えば「正しく診断できたか」の二値)でエージェント障害帰属を評価すると、役割特定の成功が根本原因局所化の弱さを覆い隠してしまう。(Source: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] §6.2, Table 4) - **軌跡が長くなるほど根本原因は「症状より大きく上流」に位置し、直近性ヒューリスティックが失敗する**: LongRCA Bench では 559 軌跡(49.0%)で根本原因の後に 50 ステップ超が続き、324 軌跡(28.4%)で 100 ステップ超、88 軌跡(7.7%)で 200 ステップ超が続く(root-to-end distance 中央値 48・90 パーセンタイル 183・最大 605)。全手法比較(Table 4)で All-at-once・Step-by-step・Binary search・FALAT が軒並み低い exact accuracy(3.4〜7.6%)にとどまるのに対し、ECHO・RCTA という「階層的要約 + 元テキストへの回帰照合」を行う手法だけが 2 桁の精度に達する。これは AgentTether の知見(τ-bench Banking で根本原因は症状より中央値 4 ステップ・最大 26 ステップ上流)と方向性は一致するが、LongRCA Bench の root-to-end distance(中央値 48・最大 605)は AgentTether が扱う規模より 1〜2 桁大きく、「長軌跡ほど直近性ヒューリスティックの失敗が深刻化する」ことを定量的に裏付ける。(Source: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] §4.2, §6.2) - **「広域候補検索」と「元ログテキストへの回帰照合」を明示的に 2 段階化する設計が、単純な逐次/二分探索より一貫して優れる**: LongRCA Bench の 6 手法比較で、セグメント要約による広域検索(RCTA・ECHO)は All-at-once/Step-by-step/Binary search を全指標で上回る一方、FALAT(依存関係誘導検索単体)は all-at-once にすら劣る(exact root 2.8% vs 7.6%)。RCTA はさらにハンドオフ指示への遡及照合という第 3 段階を明示的に持つことで ECHO を上回る(role acc. +23.6pt・exact root +10.9pt)。「広域要約で候補を絞り、元テキストで最終判断する」という 2 段階分離自体が精度に寄与し、「依存関係を辿るだけ」では長軌跡において探索範囲が発散しやすいことを示唆する。(Source: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] §6.2) - **アノテーション再現性(ペアワイズ完全一致率)が根本原因ステップで顕著に低く、タスク自体に高い曖昧性がある**: LongRCA Bench の重複アノテーション部分集合での完全一致率は責任役割 65.9%・根本原因ステップ 39.5%・両方一致 38.4%。この 39.5% という数字は、22 名の CS 修士・博士課程学生が同じ厳格なルール(Appendix D)に基づいて独立にレビューしてもなお、根本原因ステップの厳密な特定に高い意見の相違が残ることを示す。これは、いかなる自動化手法であっても「参照ラベルと完全一致」という指標の達成可能な上限が人間の合意水準自体で制約されている可能性を示唆し、±5 ステップ等の許容誤差を伴う評価(root ±5 accuracy)が実務的により意味を持ちうることを裏付ける。(Source: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] §3.3, Table 3) - **軌跡長・root-to-end distance の層別分析は非単調であり、単一の変数を診断難易度の因果要因と見なすことはできない**: LongRCA Bench の層別分析(Figure 6, Table 7-8)では、RCTA の exact accuracy が軌跡長 ≤100 の 30.3% から 101–400 の約 20% へ低下するが、>400(n=42)では 31.0% に回復する。root-to-end distance でも 21.5%・27.1%・20.9%・25.6% と非単調。著者らはソースドメイン・ワークフロー・軌跡長・根本原因位置が相関しているためこれを記述的な観察にとどめている——これは「長ければ長いほど難しい」という単純な仮説がエージェント障害帰属では成り立たないことを示す実証例であり、今後の研究がソースを揃えた統制実験を必要とすることを示唆する。(Source: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] §6.3) ## 未解決の問い - LongRCA Bench の Root MAE(RCTA で 38.6)は「厳密一致ではないがどれだけ近いか」を示すが、根本原因ステップの真の曖昧性(近接する複数の妥当な候補が併存しうる)は 1 軌跡 1 ラベルへの collapse(平均 1.31 件のアノテーションから最終 1 件を選ぶ解決プロセス)によって失われている。複数の妥当な根本原因候補を許容するマルチラベル評価プロトコルは、この曖昧性をどこまで解消できるか。 - LongRCA Bench はマルチエージェント協調(Magentic-One group chat)・逐次 planner–executor–critic・固定役割チームという複数のエージェント組織を横断するが、[[エージェント修復]] の AgentTether/PROBE は単一エージェントの意思決定軌跡を対象とする。「どのエージェントの、どの意思決定単位(Transition Unit 相当)が根本原因か」という帰属問題を、マルチエージェント協調の文脈でどう定式化すべきかは開いた設計問題である([[エージェント修復]] の未解決の問いとも重複)。 - RCTA はセグメント境界をルールベース(文字数・ステップ数上限)で決定するが、この境界設計が候補検索の再現率にどう影響するかはアブレーションされていない。境界の粒度(セグメント数)と根本原因局所化精度のトレードオフは未検証。 - LongRCA Bench の全評価は単一バックボーン(DeepSeek-V4-Flash)に限定される。より強力なモデル(例えば長コンテキスト・高 reasoning effort のモデル)でも同じ「役割特定 > 根本原因局所化」という非対称性が再現するのか、それともバックボーンの能力向上で解消されるのかは未検証。 - エージェント障害帰属(診断)とエージェント修復(diagnosis–recovery gap、[[エージェント修復]] 参照)の間には、診断精度の改善が回復率の改善を上回るという構造的ギャップが AgentTether/PROBE で報告されている。LongRCA Bench の RCTA のような「診断専用」手法の精度向上が、実際の修復パイプラインに接続されたときにどこまで回復率向上に転化するのかは、両研究系譜をまたいだ検証が必要な問いである。 ## 関連 - ソース: [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]] - 概念: [[エージェント修復]] / [[マルチエージェント協調]] / [[LLMによる根本原因分析]] / [[根本原因分析]] / [[エージェントシステム運用]] - エンティティ: [[Yunfei Zhang]] / [[Boyu Feng]] / [[Changhua Pei]] / [[Dan Pei]] / [[Gaogang Xie]] / [[Jingjing Li]] / [[Zexin Wang]] / [[Difeng Ma]] / [[SWE-bench Pro]] / [[TravelPlanner]] / [[VitaBench]] / [[WebArena Verified]] / [[Terminal-Bench]] / [[DeepSeek-V4]] - 関連 MOC: `structures/` の AIOps・SRE 系 MOC(未リンク、人間承認待ち) ## 出典 - [[@2026__arXiv__LongRCA Bench - Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures]](§3 LongRCA Bench の構築・定式化、§5 RCTA の手法、§6 評価・層別分析、§7 Discussion and Limitations、Appendix D の根本原因決定ルール)