@2026__TechReport__DeepSeek-V4.1-Flash - Pushing the Limits of KV Cache Compression

# DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression > [!abstract] 概要(原文 Abstract の日本語訳) > 長期稼働エージェントの普及により、モデルのワークロードは入力主体の傾向を強めている。従来の研究は長文脈計算のコストを大幅に削減してきたが、prefill は依然として計算コストが高く、大きな KV キャッシュは HBM および SSD の容量とデータ転送帯域を圧迫し続けている。これら計算・ストレージ・帯域の要求が合わさって、デプロイコストをさらに引き下げるうえでの主要なボトルネックとなっている。この課題に対処するため、我々は DeepSeek-V4.1-Flash を導入する。これは 552B のバックボーンパラメータを持ち、最大 100 万トークンのコンテキストに対応するマルチモーダル Mixture-of-Experts(MoE)モデルである。Causal Encoder-Decoder(CED)アーキテクチャにより、本モデルは decode 時にトークンあたり 16B パラメータを、prefill 時には 8B パラメータのみを活性化し、エージェント型ワークロードのコスト効率を大幅に改善する。KV キャッシュ圧縮の限界を押し広げるため、DeepSeek-V4.1-Flash は Compressed Sparse Attention 2(CSA2)によるレイヤー横断の KV キャッシュ再利用と FP4 KV キャッシングを組み合わせている。これらの設計により、グローバル KV キャッシュのフットプリント(常に HBM 上に存在)をトークンあたり 890 バイトへ削減し、これは DeepSeek-V4-Flash の相当するフットプリントの約 1/4 である。さらに、SWA Bounded Replay と呼ばれる専用のデプロイ最適化により、DeepSeek-V4.1-Flash は永続 KV キャッシュのフットプリント(常に SSD またはホストメモリ上に存在)を DeepSeek-V4-Flash の約 1/8 まで削減する。KV キャッシュのフットプリントが大幅に小さいにもかかわらず、本モデルはベースラインを大きく上回る性能を発揮する。加えて、我々は DeepSeek-V4 のアーキテクチャを整理・簡素化し、いくつかの効率的なアーキテクチャ拡張を導入する。DeepSeek-V4.1-Flash を 45T トークンからなるマルチモーダルコーパスで事前学習し、包括的な事後学習を実施した結果、多様なテキストベースおよびマルチモーダルなエージェント型シナリオにわたって高い性能を達成した。モデルのチェックポイントは https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash で公開されている。 ## 論文情報 - タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression - 著者・所属: DeepSeek-AI([email protected])。Appendix A に Research & Engineering / Business & Compliance の 2 部門で数百名の著者名がアルファベット順(名で整列)に列挙されているが、対応著者や筆頭著者の明示はない。 - 媒体: DeepSeek-AI 自身が公開したテクニカルレポート(査読会議・arXiv 投稿ではなく、HuggingFace のモデルカードページから配布)。 - 発表時期: 2026 年 9 月(本文中に「production deployment launched in September 2026」との記述があり、これを根拠に推定)。 - モデルチェックポイント: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash ## 概要 DeepSeek-V4.1-Flash は、552B のバックボーンパラメータと 196B の Engram パラメータを持ち、最大 100 万トークンのコンテキストに対応するマルチモーダル MoE モデルである。Causal Encoder-Decoder(CED)アーキテクチャと Compressed Sparse Attention 2(CSA2)を軸に、モデルアーキテクチャ・キャッシュ精度・配備戦略を同時最適化し、KV キャッシュのフットプリントを DeepSeek-V4-Flash 比でグローバル KV は約 1/4、永続 KV は約 1/8 まで削減しながら、推論・エージェント性能を向上させている。 **Figure 1(a): エージェント型ベンチマークでの性能比較** ![[_attachments/DeepSeek_V41_Tech_Report/fig01a-agentic-benchmarks-performance.png]] (Figure 1(a). Terminal-Bench 3.0・DeepSWE v1.1・CyberGym・Automation-Bench における DeepSeek-V4.1-Flash と Kimi-K3・GLM-5.3・Opus-S・GPT5.6-Sol との比較。DeepSeek-V4.1-Flash はいずれのベンチマークでも比較対象を上回るか同水準に達している。) **Figure 1(b): DeepSeek モデル世代間のトークンあたりグローバル KV キャッシュサイズ** ![[_attachments/DeepSeek_V41_Tech_Report/fig01b-kv-cache-size-per-unit.png]] (Figure 1(b). DeepSeek-V1(2023.11、389,120 バイト/トークン)から DeepSeek-V3.2(2025.12、48,068 バイト)、DeepSeek-V4-Flash(2026.04、3,514 バイト)、DeepSeek-V4.1-Flash(2026.09、890 バイト)へと、世代を追うごとにトークンあたりグローバル KV キャッシュサイズが縮小してきた推移。DeepSeek-V4.1-Flash は DeepSeek-V4-Flash 比で約 4 倍、DeepSeek-V1 比で約 437 倍の削減を達成している。) ## 問題設定長期稼働エージェント(long-horizon agent)の普及により、モデルワークロードは入力主体(input-heavy)になりつつある。既存研究は長文脈の計算コストを大きく削減したが、次の 2 点が残存するボトルネックである。 - prefill の計算コストが依然として高い。特に、エージェント型ワークロードでは頻繁なツール呼び出しにより KV キャッシュがミスした際の prefill リクエストが大量に発生し、計算オーバーヘッドが深刻になる。 - 大きな KV キャッシュが HBM(実行時のグローバル KV・SWA KV)と SSD/ホストメモリ(永続 KV キャッシュ)の容量、および I/O・インターコネクト帯域を圧迫する。 DeepSeek-V4(DeepSeek-AI, 2026b)は、フルコンテキストにまたがるグローバルアテンション分岐と局所的な Sliding-Window Attention(SWA)を組み合わせる構成だったが、系列長が十分に長い場合はグローバル KV が実行時 KV フットプリントを支配し、HBM 容量の制約を受ける。本論文は、この KV キャッシュフットプリントをアーキテクチャ・精度・配備の 3 レベルで同時に削減することを目的とする。 ## 提案手法 ### アーキテクチャ - **全体構成**: 40 層の Transformer バックボーンを 20 層の causal encoder と 20 層の decoder に分割する(Figure 3)。各層は global attention と SWA の両方を持つが、最初の 2 層のみ SWA のみを使う。画像はビジョンエンコーダと MLP プロジェクタでテキストと結合され、マルチモーダル入力として言語バックボーンで処理される。552B のバックボーンパラメータと 196B の Engram パラメータを持ち、prefill 時に 8B、decode 時に 16B パラメータを活性化する。 **Figure 3: DeepSeek-V4.1-Flash の全体アーキテクチャ** ![[_attachments/DeepSeek_V41_Tech_Report/fig03-overall-architecture.png]] (Figure 3. 40 層のネットワークを causal encoder と decoder の各 20 層に分割する構成。すべての feed-forward 層は標準的な DeepSeekMoE を使う。encoder の最初の 2 層は sliding window attention(SWA)、残りは Compressed Sparse Attention 2(CSA2)を使い、CSA2(比率, モード)で圧縮比とモードを指定する。モデルはさらに Single-Pass mHC・Engram・DSpark・Hierarchical Sparse Indexer を持つ。) - **Causal Encoder-Decoder(CED)**: YoCo(Sun et al., 2024)に着想を得て、下半分の層(causal encoder)の隠れ状態から上半分(decoder)の global KV を直接射影する。式(1)のとおり、decoder 層 $l > L/2$ の KV エントリ $C^l, Z^l$ は encoder 最終層の隠れ状態 $H^{L/2}$ から層依存の射影重み $W_l^{KV}, W_l^Z$ で計算される。これにより prefill 時は前半層のみを計算すればよく、複雑度は $O(NL)$ から $O(NL/2 + n_{win} \times L/2) \approx O(NL/2)$ に低減される。SWA については各層で通常どおり層ごとの計算を維持しつつ、「Decoder SWA Bounded Replay」でプロンプト末尾の $n_{win}$ トークンのみを再計算して decoder の SWA KV を得る。 - **Compressed Sparse Attention 2(CSA2)**: KV キャッシュとアテンション計算のコストは、エントリサイズ(GQA・MLA)、系列方向の圧縮(CSA・HCA)、レイヤー方向の再利用という 3 つの乗法的な次元で削減できる。CSA2 はこの 3 次元を同時に利用し、main KV とインデクサ K をレイヤー横断で共有しつつ、Top-K インデックスの再利用をキャッシュ共有から分離する。各層は Full・Reindex・Reuse の 3 モードのいずれかに静的に割り当てられる(Figure 4)。 **Figure 4: CSA2 の 3 つの動作モード** ![[_attachments/DeepSeek_V41_Tech_Report/fig04-csa2-three-modes.png]] (Figure 4. Full Mode は自層で main KV とインデクサ Q/K を計算し新規に Top-K インデックスを生成する。Reindex Mode は直前層の main KV とインデクサ K を再利用しつつ自層のクエリで再スコアリングして新しい Top-K を選ぶ。Reuse Mode は直前層の main KV と Top-K インデックスの両方を再利用し、インデクサの計算を行わない。緑は当該層で計算する量、黄は直近の Full Mode 層から再利用する main KV とインデクサ K、赤は直近のインデックス生成層(Full または Reindex)から再利用する Top-K インデックスを示す。) CSA2 は CSA と比べて、圧縮エントリの重複と絶対位置埋め込みを廃し、インデクサ K を main KV からの射影で得るよう簡素化されている。 - **Hierarchical Sparse Indexer**: レイヤー横断のインデックス再利用は評価回数を減らすが、残る各インデクサは可視範囲全体をスコアリングする必要があった。decoder では、最初の Full Mode 層がブロック単位の候補選択を行い、選択したブロックに含まれる位置をより大きな候補プール(例: 2,048 ブロック×8 位置=16,384 候補位置)として構築する。後続の Reindex Mode 層はこの候補プール内だけを再スコアリングして自身の Top-K を選ぶ(Figure 5)。これにより後続インデクサのクエリあたりコストは文脈長に対して定数になる。 **Figure 5: Hierarchical Sparse Indexer** ![[_attachments/DeepSeek_V41_Tech_Report/fig05-hierarchical-sparse-indexer.png]] (Figure 5. 各正方形は 1 つの位置を表し、緑の正方形は選択済みインデックス、青の矩形は最大インデクサスコアに基づき選択されたブロックを示す。decoder の最初の CSA2 Full mode 層が自身の Top-512 インデックスを選択し、選択ブロックから共有候補プールを構築する。後続の Reindex mode 層はこのプールから Top-512 を選択する。) - **効率的なアーキテクチャ拡張**: - **Single-Pass mHC**: mHC(Xie et al., 2026)の残差ストリーム混合を、入力混合係数を 1 ブロックずらすことで単一パス化する(式(6))。デプロイ時には Mega-mHC カーネルへ融合し、活性化メモリトラフィックを従来実装の $(4n+4)d$ から理想値に近い $(n+1)d$ 読み・$(n+1)d$ 書きへ半減する。 - **Engram**(Cheng et al., 2026b/c): 196B パラメータを 2 モジュールに均等配分し、$N$-gram 次数 {2,3,4}・8 ハッシュヘッド・埋め込み次元 2048/次数を使う。短い因果畳み込みを省略し、モーメンタム更新+Sinkhorn バランシングで最適化する(§2.5)。 - **DSpark**(Cheng et al., 2026a): 3 つの Transformer ブロックから成る drafter が 5 つのドラフト位置を並列に生成し、confidence head が受理確率を予測、スケジューラがスループット曲線に基づき検証長を動的に選ぶ半自己回帰型の投機的デコーディング。backbone とは別段階で学習される。 - **FP4 主 KV キャッシュ**: OCP 標準 MXFP4 形式(E2M1、16 チャネルごとに 1 つの E4M3 スケール)を採用し、post-training で QAT を主 KV キャッシュへ拡張する。SWA KV は量子化への感度が高いため FP8 のまま維持する。DeepSeek-V4 の FP8 主 KV キャッシュと比べてストレージをほぼ半減させる。これらのアーキテクチャ改善を組み合わせた結果、DeepSeek-V4.1-Flash の単一トークンあたり decode FLOPs はコンテキスト長に対してほぼ一定を保つ(Figure 2)。 **Figure 2: コンテキスト長に対する単一トークン decode FLOPs の世代間比較** ![[_attachments/DeepSeek_V41_Tech_Report/fig02-decode-flops-vs-context-length.png]] (Figure 2. BF16・FP8・FP4 の演算をそれぞれ 1・0.5・0.25 で重み付けして計算精度を考慮した、コンテキスト長に対する単一トークン decode FLOPs の比較。DeepSeek-V4.1-Flash はコンテキスト長を 4K から 1M へ 256 倍に拡張しても decode FLOPs の増加はわずか 1/4 にとどまり、DeepSeek-V4-Flash で観測される増加より大幅に小さい。) ### 実装上の工夫(推論システム・配備最適化) - **推論カーネル**: FlashMLA の融合 RoPE-attention-RoPE-cast カーネル、DeepGEMM の Mega-Gate/Mega-mHC/Mega-MoE カーネル、TileKernels、DeepSelect の TopK カーネルなどにより、CSA2 Reuse Mode 層は prefill 時わずか 15 カーネル、decode 時 11 カーネルで実行できる。配備は Encoder–Prefill–Decode(EPD)disaggregation を採用する。 - **永続 KV キャッシュ管理**: DeepSeek-V4 では SWA KV が永続 KV キャッシュ容量のほぼ半分を占めていた。DeepSeek-V4.1-Flash では SWA KV を永続キャッシュから外し、各マシンのホスト DRAM の 10% から確保した分散メモリプール(短い TTL)に格納する。グローバル KV は 72 時間以上の保証寿命で永続キャッシュに残す。 - **SWA Bounded Replay**: SWA の依存関係は層をまたいで蓄積するため、$L$ 層分を厳密に再構築するには $L \times n_{win}$ トークンの再生が必要になる。SWA Bounded Replay は直近の $n_{win}$ トークンのみを再生し近似的に SWA 状態を復元する。Encoder SWA Bounded Replay(prefix キャッシュのヒット判定をグローバル KV のみに依存させる)と Decoder SWA Bounded Replay(decoder 側 prefill を $n_{win}$ トークンに制限し prefill 計算をほぼ半減させる)の 2 種類がある。実験的にはこの近似が応答品質にほとんど影響しないことを確認している。 ## 新規性 - 既存のレイヤー横断 KV 共有手法(IndexCache のインデックス再利用のみ、YOIO の全層共有ルーティング、HySparse の疎層による密層 KV 再利用)は、いずれもエントリサイズ・系列方向・レイヤー方向の 3 つの圧縮次元の一部しかカバーしていなかった。CSA2 はこの 3 次元をキャッシュ共有とインデックス再利用の分離という形で同時に利用する点で新しい。 - DeepSeek-V4 の Zero SWA Caching(SWA KV を完全に再計算する方式)は正確な復元に $L \times n_{win}$ トークンのフルフォワードパスを要し実運用では高コストだったが、SWA Bounded Replay は近似的な復元にとどめることで再計算コストを $n_{win}$ トークンまで削減し、実用上のトレードオフを大きく改善した。 - post-training においてアルゴリズム面の新規性を導入せず(SFT→RL→OPD という標準パイプラインを維持)、代わりにタスク・環境合成パイプラインのスケールと多様性のみに投資したという方針を明示している点も、アーキテクチャ研究とは異なる観察として特筆される。 ## 実験設定 - **比較対象**: 事前学習後のベースモデルは DeepSeek-V4-Flash-Base・DeepSeek-V4-Pro-Base と比較。事後学習後は Opus-5 Max・GPT-5.6 Sol Max・Kimi-K3 Max・GLM-5.3 Max・DeepSeek-V4-Pro Max・DeepSeek-V4-Flash Max と比較。 - **評価軸**: 世界知識(AGIEval・MMLU-Pro・C-Eval・MultiLoKo・SimpleQA-Verified・SuperGPQA)、言語理解・推論(BBH・BBEH・DROP・HellaSwag)、コーディング・数学(BigCodeBench・HumanEval・GSM8K・MATH・MGSM)、長文脈(LongBench-V2)、マルチモーダル(MMMU-Pro・DocVQA・CVBench・RefCOCO 系)。post-training では GPQA Diamond・HLE・Codeforces・MathArena Apex に加え、コードエージェント(Terminal-Bench 2.1/3.0/4.0・DeepSWE v1.1・ProgramBench・NL2Repo-Bench)、サイバーセキュリティ(SEC-Bench Pro・CyberGym・ExploitGym)、汎用エージェント(AutomationBench・Agents' Last Exam)、視覚エージェント(Chartography・BabyVision・ZeroBench)。 - **評価ハーネス**: コードエージェントは DeepSeek Harness の Minimal モード(1M トークンコンテキスト、temperature 1.0、top-p 0.95)。DeepSWE v1.1 は mini-SWE ハーネス、SEC-Bench Pro は Claude Code ハーネス(session compact 対応のため)。視覚エージェントは Claude Code ハーネス(512K トークンコンテキスト)。評価環境ではインターネットアクセスを制限し Git 履歴を除去、Go/Node/Python のビルドキャッシュを自動除去してリワードハッキングを緩和している。 - **事前学習データ**: 45T トークンのマルチモーダルコーパス(テキスト単独:マルチモーダル ≈ 7:1)。64K の系列長でスパースアテンションをゼロから学習し、34T トークン地点で系列長を 1M まで拡張。 ## 実験結果 Table 1(ベースモデル比較。抜粋)は以下の通り。 | Benchmark (Metric) | DeepSeek-V4-Flash-Base | DeepSeek-V4-Pro-Base | DeepSeek-V4.1-Flash-Base | |---|---|---|---| | # Activated Params | 13B | 49B | 8B/16B | | # Backbone Params | 284B | 1.6T | 552B | | MMLU-Pro (EM) | 68.3 | 73.5 | **74.1** | | SuperGPQA (EM) | 46.5 | 53.9 | 53.1 | | HumanEval (Pass@1) | 69.5 | 76.8 | **79.4** | | GSM8K (EM) | 90.8 | 92.6 | **93.0** | | MMMU-Pro (EM) | - | - | 56.5 | | DocVQA (LLM-Judge) | - | - | 95.6 | (Table 1. DeepSeek-V4-Flash-Base・DeepSeek-V4-Pro-Base・DeepSeek-V4.1-Flash-Base の比較。すべて内部評価フレームワークで同一設定により評価。差が 0.3 以内のスコアは同水準とみなす。DeepSeek-V4.1-Flash は DeepSeek-V4-Pro よりはるかに少ない活性化パラメータと大幅に削減された KV キャッシュを持ちながら性能はほぼ同水準に達する。) **Figure 6: 保留評価セットでの BPB 比較** ![[_attachments/DeepSeek_V41_Tech_Report/fig06-bpb-comparison.png]] (Figure 6. 社内ドキュメント・独自コードリポジトリ・学術資料からなる保留評価セットでの bits-per-byte(BPB、低いほど良い)比較。DeepSeek-V4.1-Flash-Base は全タスクで最も低い BPB を達成した。) 事後学習後の Table 3(抜粋)では、DeepSeek-V4.1-Flash Max は Codeforces レーティング 3471(DeepSeek-V4-Flash 3289、DeepSeek-V4-Pro 3348 を上回る)、MathArena Apex 65.6%(Kimi-K3・DeepSeek-V4-Pro と同水準)、GPQA Diamond 90.9% を達成した。エージェント系タスクでの改善はより顕著で、DeepSWE v1.1 で 74.2%(DeepSeek-V4-Flash の 54.4% から大幅上昇、Opus-5 の 74.0%・GPT-5.6 Sol の 73.0% を上回る)、Terminal-Bench 2.1 で 90.6%(Opus-5 の 89.1%・GLM-5.3 の 88.2% を上回る)、Automation-Bench で 54.8%、Agents' Last Exam で 31.8% を達成し、いずれも比較対象の中で最高値である。サイバーセキュリティ系タスク(CyberGym 88.1%)ではオープンソースモデル中で新たな最高水準を確立した。一方、視覚エージェントタスクでは Kimi-K3 を上回るもののクローズドソースの最上位モデルとの差は残るとしている。 RL のスケーリング挙動は Figure 7・Figure 8 に示されている。 **Figure 7: コードエージェントベンチマークでの RL スケーリング** ![[_attachments/DeepSeek_V41_Tech_Report/fig07-rl-scaling-code-agent-benchmarks.png]] (Figure 7. DeepSeek Harness の Minimal モードにおいて、累積 RL ステップの増加とともに各種コードエージェントベンチマークの性能が向上する。最大コンテキスト長を 1M トークンへ拡張することで、Terminal-Bench v3.0 のような極めて長期的なタスクでの性能がさらに改善する。) **Figure 8: 複数バージョン・複数スキャフォールドでの RL スケーリング** ![[_attachments/DeepSeek_V41_Tech_Report/fig08-rl-scaling-multiscaffold.png]] (Figure 8. Claude Code の複数バージョン(左)と、OpenCode・Pi・DeepSeek Harness(Standard/PTC モード)を含む異種スキャフォールド横断(右)で共同学習した場合の、累積 RL ステップに対する性能向上。DeepSWE v1.1 で評価。) Table 2 は公開 API の reasoning-effort 階層(max/high/low)がスカラー effort 値 100/75/50 にそれぞれ対応することを示す。Figure 9 は effort を 25 から 100 まで変化させた際の性能とトークン出力量の関係を示す。 **Figure 9: reasoning effort に対する性能とトークン出力量** ![[_attachments/DeepSeek_V41_Tech_Report/fig09-reasoning-effort-vs-perf.png]] (Figure 9. 各パネルは Pass@1(実線、左軸)と応答あたりの平均出力トークン数(破線、右軸)を reasoning-effort 値 25〜100 の関数としてプロットしたもの。推論集中型ベンチマークは 8 種の平均、DeepSWE v1.1 は mini-SWE、Terminal-Bench v2.1 は DeepSeek Harness(Minimal)で評価。) effort を 25 から 100 に上げると、8 種の推論集中型ベンチマークの平均 Pass@1 は 67.1% から 76.3%、DeepSWE v1.1 は 66.0% から 74.2%、Terminal-Bench 2.1 は 82.4% から 90.6% まで向上する一方、出力トークン数はおよそ 2.5 倍に増加する。効果は前半に偏っており、effort 60〜80 の範囲で最大設定の精度の大部分を半分未満のトークン予算で回復できる。 Table 4(抜粋)では、Claude Code・Codex・OpenCode・Pi・mini-SWE・DeepSeek Harness(Minimal/Standard/PTC)という 6 系列・8 構成のスキャフォールド間で DeepSWE v1.1 が 65.5〜74.2%、Terminal-Bench v2.1 が 84.1〜90.6% の範囲に収まり、特定ハーネスへの過適合が小さいことを示している。 **Figure 10: マルチエージェントのテスト時計算スケーリング** ![[_attachments/DeepSeek_V41_Tech_Report/fig10-agent-teams-test-time-compute.png]] (Figure 10. ProgramBench(Almost@1)と FrontierSWE v2(Mean@5)における、ロールアウトあたりの締切時間に対する単一エージェント/マルチエージェント構成のテスト時計算スケーリング。マルチエージェント構成はいずれの締切でも単一エージェントを上回り、ProgramBench では 8 時間で Almost@1 30.04%(単一エージェントは 20.39%)、FrontierSWE v2 では 20 時間で Mean@5 32.90%(単一エージェントは 28.20%)に達する。) ## 考察 - KV キャッシュ圧縮は、アーキテクチャ(CED・CSA2)・精度(FP4)・配備(SWA Bounded Replay)という 3 レベルの共同最適化によって初めて大きな削減率(グローバル KV で約 1/4、永続 KV で約 1/8)を達成できたと論じている。 - post-training においてアルゴリズム面の新規性を意図的に導入せず、データ・環境合成パイプラインのスケールと多様性のみに投資したことが性能向上のほぼ全てを説明するという観察は、「アルゴリズムよりデータ・環境パイプラインの工学的投資の限界効用が現時点では大きい」という一般化可能な教訓として提示されている。 - reasoning effort のスカラー制御は、単一チェックポイントで学習時コスト-品質フロンティア上の運用点を柔軟に選べる実用的な機構として位置づけられている。60〜80 の範囲が費用対効果に優れる一方、100 への引き上げは限界的な改善にとどまるとしている。 - 著者らは、CSA2 の選択誤りや SWA Bounded Replay の近似的状態復元が、未検証の境界条件下では性能劣化を引き起こす可能性を認めており、有限のテストスイートでは全ての極端な入力・配備条件を網羅できないと明言している。 ## 強み / 弱点・課題 **強み** - CED・CSA2・FP4 KV キャッシュ・SWA Bounded Replay という複数レベルの最適化を組み合わせ、KV キャッシュフットプリントを大幅に削減しながら性能を落とさない(むしろ向上させる)設計を実証した。 - エージェント型タスクにおいて、6 系列・8 構成の異なるスキャフォールドを横断して性能が安定しており、特定ハーネスへの過適合が小さいことを定量的に示した。 - reasoning effort のスカラー制御により、単一モデルでコスト-品質のトレードオフを連続的に調整できる実用的なインターフェースを提供する。 **弱点・課題(論文が明示するもの)** - 新たに導入したアーキテクチャ変更(CSA2 の選択的スパース性、SWA Bounded Replay の近似的状態復元)がもたらす頑健性の境界は、内部評価では系統的な劣化が観測されていないものの、まだ十分に特性評価されていないと著者ら自身が認めている。 - 科学志向のエージェント型タスク(例: Terminal-Bench 4.0)では専門的なドメイン知識を要する場面で巨大モデルとの差が残る。視覚エージェントタスクでもクローズドソースの最上位モデルとの性能差が残る。 - 評価ベンチマークの飽和により、ベンチマークスコアの僅差が必ずしもフロンティアの複雑な推論・エッジケースでの能力差の解消を意味しないと述べている。 - コーディングエージェント評価では、Ubuntu の中核パッケージを逆コンパイルして CyberGym の脆弱性を探すなど、リワードハッキング的な挙動が観測されており、評価インフラそのものがモデルに「ゲーム」されやすくなっていることへの懸念を表明している。