# @2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost Navigation: [[sources/_index]] | [[index]] **著者**: [[Cognition]] **URL**: https://cognition.com/blog/swe-1-7 **公開**: 2026 年 7 月 8 日 ## 要旨 [[Cognition]] が自社エージェント型コーディングモデル [[SWE-1.7]] を発表したブログ記事。[[Kimi K2.7]] をベースに広範な強化学習(RL)パイプライン改善を施しており、コーディングベンチマークで [[GPT-5.5]]・[[Opus 4.8]] に迫る性能をより低コストで実現したと主張する。SWE-1.7 は [[Devin]](Web・Desktop・CLI)上で [[Cerebras]] 経由・1000 TPS のスループットで提供される。記事は訓練の 4 本柱(エントロピー保全・マルチクラスタ耐障害訓練・データ品質・長期タスク向け自己圧縮)を技術的に解説し、後半では RL によって獲得された行動傾向(思考の圧縮・より徹底したコードベース探索)を報告する。 ## ベンチマーク結果 Pass rate (%)。 | ベンチマーク | SWE-1.7 | Kimi K2.7 Code | GPT-5.5 | Opus 4.8 | Opus 4.7 | GLM-5.2 | Composer 2.5 | SWE-1.6 | |---|---|---|---|---|---|---|---|---| | FrontierCode 1.1 Main | 42.3% | 30.1% | 43.0% | 46.5% | 38.5% | 24.5% | 25.6% | 9.4% | | Terminal-Bench 2.1 | 81.5% | 72.7% | 84.2% | 86.9% | 83.0% | 81.0% | 76.0% | 39.7% | | SWE-Bench Multilingual | 77.8% | 73.5% | 76.8% | 84.4% | 80.5% | 74.5% | 71.6% | 58.3% | [[SWE-1.6]](前バージョン)からの伸び幅が特に大きく、[[FrontierCode]] 1.1 Main で 9.4% → 42.3%(4.5 倍)、Terminal-Bench 2.1 で 39.7% → 81.5%(2 倍超)。ベース [[Kimi K2.7]] Code に対しても全指標で明確に上回る(Source: 記事内ベンチマーク表)。 > [!key-insight] Post-training ceiling への反証 > Kimi K2.7 は「既に広範な RL 事後学習を経たベースモデル」であるにもかかわらず、Cognition 独自の追加 RL 訓練で大幅な性能向上が得られた。これは「事後学習には収穫逓減の天井がある」という通念に反し、RL が従来考えられていたよりずっと先まで能力を押し上げられることを示唆する、と記事は主張する(Source: 記事冒頭)。 ## エントロピー保全と訓練安定性 長期の非同期 RL 訓練([[エントロピー崩壊]]参照)では 2 つの問題が生じる。(1) エントロピー崩壊(モデルが探索を止め報酬が数百ステップで頭打ちになる)、(2) 訓練ポリシーとサンプリングポリシー間の KL 乖離による不安定化。 - **top-p サンプリングの効果**: 低確率トークンは軌跡が分布外に外れた際に出現しやすく、報酬が低い場合その勾配更新は既に優勢なトークンの優位をさらに強める方向に働く(softmax の勾配の性質)。top-p サンプリングはこうした低確率トークンをそもそもサンプリング対象から除外することで、この自己強化的なエントロピー崩壊を防ぐ。 - **サンプリング分布リプレイ**: 素朴に top-p を適用すると、trainer は全トークンからの確率を計算する一方 rollout は top-p 部分集合からのみサンプリングするため、訓練・推論間の分布乖離が拡大し数ステップで崩壊する。Cognition はロールアウト時に使用可能だった「keep set」を記録し、trainer 側でそのマスクを用いて確率を再正規化する **sampling distribution replay** を導入し、乖離を有界に保った。 - 副次効果として、確率がしきい値を超えるトークン(keep set サイズ 1)は勾配がゼロになるため、学習信号の高いトークンに最適化が集中し、勾配ノイズが減る。 - [[Muon]] オプティマイザの使用と、trainer 内の非決定的操作の排除も安定性に寄与した。 ![[_attachments/swe-1-7/fig01-policy-entropy.svg]] (訓練を通じたポリシーエントロピーの推移。SWE-1.7 のレシピはエントロピーをほぼ一定に保つのに対し、ベースラインは着実に減衰する。Source: 記事内図表) ![[_attachments/swe-1-7/fig02-train-infer-mismatch.svg]] (訓練ステップを通じた訓練・推論間の乖離。sampling distribution replay 適用時は乖離が有界に収まるのに対し、素朴な top-p 実装は発散する。Source: 記事内図表) ## マルチクラスタ訓練とフォルトトレランス RL は trainer のみ単一の高帯域クラスタに置く必要があり、rollout を生成する推論エンジンは自己完結的でどこでも実行できるという構造上の特性を活かし、Cognition は 3 大陸 4 データセンターにまたがる RL 訓練基盤を構築した(自社 GPU + [[Fireworks AI]] 等の推論プロバイダの追加コンピュートを併用)。 - **圧縮重み差分配信**: 全モデルを毎回ブロードキャストする代わりに、K 勾配ステップごとに現在の重みと直前の重みの差分を圧縮して送信し、転送サイズを 99% 超削減する。 - **オブジェクトストレージ経由の単一真実源**: trainer から各推論クラスタへ直接ストリーミングする代わりに、クラウドオブジェクトストレージを重みバージョンの単一真実源として使う。各クラスタの weight controller がマニフェストをポーリングし、新しい差分を検出するとシャードをダウンロードして tree broadcast でローカルディスクに複製する。 - **無停止に近い切替**: 各推論エンジンは差分を CPU メモリへプリフェッチしながら推論を継続し、完全にステージされてから短時間だけ一時停止して in-place 適用する。飛行中の軌跡は KV cache を保持したまま新しい重みで継続できる。 - 結果として、1T パラメータモデルの大陸間重み更新はエンドツーエンドで 1〜2 分、推論の一時停止は更新ごとに 3〜4 秒に収まる。 - **フォルトトレランス**: 推論側の故障は安価(エンジンは自己完結・無状態に近いため)。[[NVIDIA Dynamo]] でエンジンのライフサイクル管理とルーティングを行い、各エージェントサンドボックスのプロキシがトークンの入出力を記録するため、レプリカが落ちても軌跡全体は失われず別ワーカーへ再ルーティングされる。trainer 側の故障はコストが高い(単一のタイトに結合されたコンポーネントで 1 ノードの死がクラスタ全体を停止させうる)ため、各ノードは毎ステップ非同期にローカルディスクへチェックポイントし、シャードをピアに複製することで秒単位の復旧を可能にしている。容量が不足すればデータ並列レプリカ単位でランを縮小し、ノード復帰時に再拡大する。 <details> <summary>RL 訓練アーキテクチャ図(SVG、記事内インライン図)</summary> 米国の単一 trainer クラスタが、圧縮された重み差分をクラウドストレージ経由で 3 大陸に分散する推論 rollout クラスタへストリーミングする構成。Data buffer → Rollout Manager → Trainer(GPU群)→ Cloud storage(XOR diff + zstd)→ Dynamo router 経由で各大陸の Inference クラスタへ配信する。(Source: 記事内 SVG 図、非画像ファイルのため埋め込みは省略) </details> ## 長期タスク向け自己圧縮 Devin は元々、非同期の長時間タスクを完遂するために設計されている。SWE-1.7 は Devin harness で直接訓練されるため、長期タスクの訓練には 2 つの課題がある。(1) rollout が生の context window を大きく超えうる、(2) [[DeepSeek-R1]] が示したように推論タスクの RL は応答を際限なく長くしがちだが、簡単なタスクでは効率的に振る舞ってほしい。 Cognition はこの 2 つに [[自己圧縮]]と交互長さペナルティで対処した。 - **自己圧縮訓練**: context 上限に近づくとエージェントに作業状態を要約させ、その自己生成サマリーから再開させる。訓練中モデルは (1) より情報密度の高い簡潔なサマリーを書くこと、(2) そのサマリーをより良く活用することを同時に学習する。この手法は先行して [[Kevin-32B]] のカーネル最適化タスクで導入されたものを踏襲しており、SWE-1.7 の訓練 rollout は自己圧縮により最大 6 時間に及ぶ。 - **交互長さペナルティ**: 長さペナルティを訓練全体に一様に適用する代わりに、**制約なしフェーズ**(タスク成功のみを最適化)と**予算フェーズ**(トークン数・ターン数・ツール呼び出し時間を含む重み付きコスト関数の予算を超える解にペナルティを課す)を交互に切り替える。これにより、モデルの能力内のタスクでは応答長が圧縮される一方、難タスクでの長期思考行動は保持される。 ![[_attachments/swe-1-7/fig03-response-length.svg]] (2 段階の長さペナルティ下での平均応答長の推移。制約なしフェーズでは難タスクでより長く考えるため長さが伸び、予算フェーズでは解けたタスクで圧縮される。Source: 記事内図表) ## データ品質 - **検証器品質**: タスクの検証器は偽陽性(誤った解を正解と判定)と偽陰性(正しい解を誤りと判定)の両方向で誤りうる。Cognition は [[FrontierCode]] 開発で構築した QA パイプラインを用い、両方の観測を最小化した。 - **難易度較正**: モデルが常に解ける・常に失敗するタスクからは学習信号が得られない。低い解決率のタスクを意図的にキュレーションし、実質的な学習信号を確保した。 - **[[報酬ハッキング]]検知・防止**: サンドボックスをネットワーク制限し git 履歴・参照アーティファクトを除去、採点経路をエージェントから隔離、既知のエクスプロイト署名を検知するプログラム的チェックを実施。チーティングの試みが成功したか否かに関わらず、その軌跡には報酬 0 を割り当てた。 ## 訓練結果として現れたモデル行動 SWE-1.7 はベースモデル Kimi K2.7 Code と比較して明確に異なる行動を示す。 - **簡潔な思考連鎖**: 最初の chain-of-thought の機能語比率が大幅に低く、1 文あたりの平均語数もほぼ半分。交互長さペナルティの予算フェーズが直接寄与したと分析している。 - **より徹底したコードベース探索**: ツール呼び出し・ファイル読み込み・検索の回数が Kimi-K2.7-Code・[[Opus 4.8]]・[[GPT-5.5]] と比べて有意に多い。バグ修正では根本原因調査・エッジケース・仮定・敵対的入力・要求外の考慮を行う傾向が強く、曖昧な仕様を推測せず小さな Python スクリプトで実験して確かめる傾向がある。 ![[_attachments/swe-1-7/fig04-behavioral-tendencies.svg]] (FrontierCode 1.1 Main における行動傾向の箱ひげ図。SWE-1.7 は Kimi-K2.7-Code・Opus 4.8・GPT-5.5 と比べて実行あたりのツール呼び出し・ファイル読み込み・grep/検索の回数が大幅に多い。Source: 記事内図表) ![[_attachments/swe-1-7/fig05-edge-cases.svg]] (FrontierCode 1.1 Main における chain-of-thought がエッジケース・仮定・敵対的入力・要求外要件を探る頻度の対数スケール棒グラフ。SWE-1.7 は「仮定」カテゴリを除く全カテゴリで Kimi-K2.7-Code より頻繁に探る。Source: 記事内図表) > [!note] トレードオフ: 変更範囲の拡大 > より深く思考する分、変更範囲(タッチするファイル数・追加テストケース数)も拡大する。[[FrontierCode]] の定義する「良い解は最小限のファイルセットのみを変更する」という基準からはやや外れる方向で、業界全体で推論量の増加とタッチ範囲の拡大が相関する傾向が観測されているという。Cognition は今後の改善軸として挙げている。 ## 評価方法論 - 全モデルを最大推論エフォートで評価。 - [[Terminal-Bench]] 2.1: 独自の内部評価フレームワークで評価。Anthropic モデルには Claude Code、OpenAI モデルには Codex、それ以外には Devin CLI を使用(timeout=4h)。 - [[SWE-Bench Multilingual]]: 自己報告値が利用可能な場合はそれを使用し、そうでなければ Devin CLI で評価。 - [[FrontierCode]] 1.1: 別記事(FrontierCode 1.1)を参照。 ## 関連研究への位置づけ 記事は自身の技術的系譜を明示的に引用している。 - Rollout Routing Replay(R3)・[[SWE-1.6]] Preview の importance-sampling / quantization-aware training に続く安定化手法として top-p sampling replay を導入。 - top-p によるエントロピー崩壊防止は Cui+ 2025("The Entropy Mechanism of RL for Reasoning LMs")・DAPO(Yu+ 2025)の知見と接続。 - サンプリング分布リプレイの着想は [[DeepSeek-V3.2]] の記述を踏襲。 - 自己圧縮は Cognition 自身の [[Kevin-32B]](カーネル最適化タスク向け multi-turn RL)を長期エージェントタスクへ拡張したもの。 - 交互長さペナルティは Kimi K2.5 の visual agentic intelligence 論文の戦略を参照。 ## 出典 - Cognition Blog, "SWE-1.7: Frontier Intelligence at a Fraction of the Cost," 2026-07-08. https://cognition.com/blog/swe-1-7