# SWE-Bench-Verified 実際の GitHub リポジトリから収集したソフトウェアエンジニアリングの課題(バグ修正)を用いたベンチマーク。人間の検証により品質が保証されたサブセットである。コーディングエージェントの評価に広く使用されており、[[DeepSWE]] がオープンウェイトモデルの SOTA(ハイブリッド Best@16 で 59.0%)を達成した。 ## 限界(批判) [[Cursor Research]] が指摘する 3 つの構造的限界([[コーディングエージェント評価]] 参照): - **調整不足**: バグ修正特化であり、機能追加・リファクタリング・コードベース理解等を扱わない - **採点問題**: 複数の有効解を認識できない - **汚染**: SWE-bench Verified/Pro/Multilingual は訓練データ汚染の影響下 **OpenAI は報告を停止**した。理由: 「未解決問題の約 60% にテストの欠陥がある」ため。(Source: [[@2026__Cursor__CursorBench - How Cursor Evaluates Model Quality]]) ORACLE-SWE論文([[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]])は、SWE-bench-Verifiedの古いインスタンスが新しいモデル(GPT-5等)の学習データに漏洩している可能性への懸念を明示的に言及した上で、5つのoracle情報信号(Reproduction Test・Regression Test・Edit Location・Execution Context・API Usage)の寄与順序がこの懸念にもかかわらず安定していたと報告している。フィルタ後459インスタンスを使用し、GPT-5-Thinking-Medium・GPT-4oで評価した。(Source: [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]]) ## 構築経緯とデータセット規模(『原論文から解き明かす生成AI』第8章による) 元となる SWE-bench は 12 の Python オープンソースリポジトリから収集した 2,294 個の Issues と、それを解決する Pull Requests のペアからなるデータセットである。人間が検証した結果、70% 近くの問題が問題説明の曖昧さなどの理由で解くのが困難であることが分かり、人間が検証して解答可能と判断された 500 個の問題で構成される部分集合が SWE-bench Verified と呼ばれている。具体例として、天文学 Python ライブラリ astropy のある関数の振る舞いにバグが報告され([Issue #12906](https://github.com/astropy/astropy/issues/12906))、そのバグを修正する Pull Request([PR #12907](https://github.com/astropy/astropy/pull/12907))が送られて修正された事例が挙げられている。2025 年 4 月時点では、OpenAI o3 モデルが 69.1% の正答率を報告している。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]] §8.2) ## 出典 - [[@2025__Together AI__DeepSWE - Training a Fully Open-sourced State-of-the-Art Coding Agent by Scaling RL]] - [[@2026__Cursor__CursorBench - How Cursor Evaluates Model Quality]] - [[@2026__arXiv__ORACLE-SWE - Quantifying the Contribution of Oracle Information Signals on SWE Agents]] - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]] §8.2(構築経緯・astropy具体例・2025年4月時点のo3正答率)