# SWEエージェントの情報信号 Navigation: [[sources/_index]] | [[entities/_index]] | [[concepts/_index]] ## 定義 SWE(software engineering)エージェントがGitHub issue解決のようなコード修正タスクを遂行する際に依拠する文脈情報を、5つのカテゴリに整理したもの。[[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]]は、先行研究の包括的レビューからこれら5つを「Code Search能力」(Edit Location・Execution Context・API Usage)と「Testcase Verification能力」(Reproduction Test・Regression Test)の2軸に整理し、各信号を「エージェントが完璧に取得できた場合(oracle)」の形に機械的に抽出・注入することで、信号ごとの理想的な寄与上限を定量化する統一枠組みを提案した。 - **Reproduction Test(再現テスト)**: issueのバグを再現するテストコードとその実行コマンド・成否判定。 - **Regression Test(リグレッションテスト)**: 修正が既存機能を壊していないかを確認するテスト。 - **Edit Location(編集箇所)**: gold patchで実際に修正されるコード領域。 - **Execution Context(実行コンテキスト)**: バグ再現時のエラースタックトレースが与える周辺コード文脈。 - **API Usage(API利用)**: 修正パッチが呼び出す関数の名前・引数・定義。 ## 横断的知見 - ORACLE-SWEはSWE-bench-Verified・Live・Proの3ベンチマーク・複数モデル(GPT-5・GPT-4o・Claude-4.5/4.6-Sonnet)にわたって、Reproduction Testが一貫して最大の寄与を示すことを報告する。これは、[[SWE-Bench-Verified]]エントリが記録する「訓練データ汚染」「テストの欠陥(未解決問題の約60%)」といった評価信頼性への懸念とは独立した軸の知見であり、自然言語のissue記述の曖昧さを補う「明示的な失敗シグナル」としてのテストの価値を裏付ける(Source: [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]])。 - [[Agentless]]・SWE-agent・OpenHands・Claude Codeなどの既存エージェントワークフローは、5信号のうち一部(特にExecution Context・API Usage)を「部分的にしか扱わない(⃝)」か「扱わない(×)」に分類され、5信号すべてを明示的・統一的に扱う先行研究は存在しないことがORACLE-SWEのTable 1横断比較で示された(Source: [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]])。 - SWE-bench-Verifiedでの寄与順序(Reproduction > Context ∼ Location > API > Regression)と、SWE-bench-Live/Proでの寄与順序(Reproduction > Context ∼ API > Location > Regression)が異なる点は、ベンチマークの難易度・タスク分布の違いを反映しており、単一ベンチマークでの信号評価を他のベンチマークに一般化する際の注意点となる(Source: [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]])。 ## 未解決の問い - ORACLE-SWEのoracle信号研究は「エージェント能力が向上すれば最終的にoracleと同じ形式の正解を得られる」という仮定に立脚するが、この仮定はどこまで一般のエージェントアーキテクチャ(Claude Codeのような複雑なエージェント)に対しても成り立つか。ORACLE-SWEは意図的に最小構成のSWE-agentのみで検証しており、より高機能なエージェントでの再現性は未検証。 - 5つの情報信号のカテゴリ化はORACLE-SWE論文自身が「部分的に主観的」と認めている。他の分類軸(例: セキュリティ関連コンテキスト、依存関係情報)を追加した場合に寄与順序がどう変わるかは未調査。 - native error stackが利用可能なのは全体の約1/4のインスタンスに限られるとORACLE-SWEは報告するが、この比率はプログラミング言語やリポジトリの成熟度によってどう変動するか。 ## 関連 - ソース: [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]] - 関連データセット: [[SWE-Bench-Verified]] - 関連ワークフロー: [[Agentless]] - MOC: [[AI4SE - MOC]] ## 出典 - [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]]