# MLSys 2026 ## Overview The Ninth Conference on Machine Learning and Systems (MLSys 2026). - **Dates:** May 17-22, 2026 - **Location:** Hyatt, Cascade Tower, Indio, CA 92201, USA - **Website:** https://mlsys.org/ - **Calendar:** https://mlsys.org/virtual/2026/calendar ## Sessions & Talks > [!note] ノート運用方針 > 各トークの詳細メモは `2026__MLSys2026__<トークタイトル>.md` という個別ノートに切り出す。本ファイルの各トーク欄には、その個別ノートへの Obsidian リンクと 5 行程度の箇条書き要約のみを記載する（例: [[2026__MLSys2026__Rethinking Open Source Contribution in the Age of AI Agents]]）。 ### Day 1 (May 18 / Mon) #### Opening Remarks (08:50　Grand Ballroom 1) #### Keynote: Rethinking Open Source Contribution in the Age of AI Agents / Roger Wang (09:00 - 09:25) > [[2026__MLSys2026__Rethinking Open Source Contribution in the Age of AI Agents|詳細メモ・Q&A はこちら]]（登壇者: Roger Wang / vLLM コアメンテナ） - AI 生成 PR が直近半年で急増し、vLLM や他の ML システム系プロジェクトが同様に対応に追われている。 - PR が reject される典型は、全体設計の見落とし・根本原因を直さず症状を覆い隠す・AI エージェントによる大量低品質 PR の 3 パターン。 - コントリビューターの価値はコードを書くことから、システム理解・正しい問題選び・成果のオーナーシップへ移った。 - メンテナはバーとロードマップを明確化し、設計判断をレビュー可能にし、CI/品質投資とコントリビューターとの対話に時間を使うべき。 - 最終メッセージ: 「PR で一番安いのはコードそのもの」。周辺すべてに注力することが信頼を育てる。 #### Keynote: Beyond Model Serving: Cross-Stack Co-Design for Agentic Systems / Esha Choukse (09:25 - 09:50) > [[2026__MLSys2026__Beyond Model Serving Cross-Stack Co-Design for Agentic Systems|詳細メモ・Q&A はこちら]]（登壇者: Esha Choukse / Microsoft Azure Research – Systems） - テーゼ: 「正しさは述語ではなく予算、精度はシステムのリソース」。精度・品質をレイテンシ・コスト・エネルギーとトレードオフ可能な動的量として扱い、フルスタックで協調設計する。 - 3 つの幻想を否定: ①モデル＝システムで品質を決める ②計算を増やせば精度が解決する ③正しさは二値。実際は実現品質はエンドツーエンドのシステムが決め、部分的正しさ・段階的劣化が生じる。 - ケース 1 Sherlock: MAST ベースのフォルト注入＋トポロジカル特徴で脆弱ノードを特定し選択的検証。GRPO 学習の軽量 verifier selector と Speculative Run-ahead で、精度約 10% 改善・レイテンシ約 48.7% 削減（E2E でコスト最大 ~2x・レイテンシ最大 ~3x）。 - ケース 2 Streamwise: リアルタイム動画生成（TTFF/TBF）。Deadline-aware スケジューリング・ヘテロハードウェア選択・適応的品質 knob・Disaggregation/パイプラインで、コスト×TTFF のパレート最適を探索。 - Takeaway: 計算だけでなく「不確実性」も管理するシステムを作る（https://aka.ms/azrs-ai ）。 #### Keynote: LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference / Yuhan Liu (09:50 - 10:15) > [[2026__MLSys2026__LMCache An Efficient KV Cache Layer for Enterprise-Scale LLM Inference|詳細メモ・Q&A はこちら]]（登壇者: Yuhan Liu / University of Chicago, LMCache リード） - テーゼ: KV キャッシュは未来の「AI ネイティブなデータ型」であり、それを支える新インフラ（LMCache）が必要。 - KV キャッシュの保存＝金の貯蓄。8 GPU・$2/GPU 時・3 年運用なら損益分岐点は ~1% ヒット率、数千〜数百万 GPU・10% ヒット率で 3 年 ~$33M 節約（MI300X で DeepSeek R1 を 1 GPU が日産テラバイト級生成）。 - 95% の KV キャッシュは GPU RAM に収まらず CPU RAM/リモートへ階層化 → 「詰め込み」と「高速転送」の 2 課題。 - 最適化 2 例: CacheGen（layer-wise 量子化＋デルタ符号化＋GPU 並列の算術符号化で最大約 10x 圧縮）、CacheBlend（RAG 等の非プレフィックス再利用で壊れる cross-attention を選択的再計算で回復）。 - 本番化のため MP/分離モードを導入（KV キャッシュ管理を推論エンジンから分離、全 worker が同一プールを共有）。Dynamo/llm-d と併用、vLLM 併用でスループット最大 15x。 #### Keynote: Eliciting Language Model Behaviors with Investigator Agents / Lisa Li (10:15 - 10:40) > [[2026__MLSys2026__Eliciting Language Model Behaviors with Investigator Agents|詳細メモ・Q&A はこちら]]（登壇者: Lisa Li / OpenAI・University of Washington 着任予定） - テーゼ: レッドチーミングを「単一文字列の探索」ではなく **behavior elicitation の事後推論問題**として定式化し、誘発入力空間を広くカバーする。 - 従来の座標上昇法（GCG 系）は 1 モードしか見つけられない → 言語モデルを逆向きにする investigator モデル `Q_φ` を SFT・DPO・変分推論で学習。 - 目的を「報酬（誘発効果）＋既発見モードへのペナルティ（多様性）＋ KL（事前への正則化）」に分解。反復分解が **Frank-Wolfe（条件付き勾配法）**と等価で、混合分布として束ねる。 - 結果: Llama で攻撃成功率を **2% → 100%**、より大きな/proprietary モデルにも汎化。先行研究の jailbreak 戦略の大多数を被覆（persuasion は prior が好まず未被覆）。 - 展望: エージェント用途では固定ターゲットがなく、失敗を見つける外側ループ＋探索の内側ループが必要。Q&A: 同一ファミリーは汎化良好、~10 反復で収束。 #### Sponsor Lightning Talks: Morning (11:00) #### Keynote: When AI Starts Writing Systems Code / Mark Saroufim (13:30) > [[2026__MLSys2026__When AI Starts Writing Systems Code|詳細メモ・Q&A はこちら]]（登壇者: Mark Saroufim / Core Automation・GPU MODE 共同創設者、元 Meta） - テーゼ: systems を自動化して研究を遅くせず回したい。新システムを作り続けるのではなく、研究者と対話して継続改善する少数のシステムを作る。 - 物理法則（flops が帯域より速く伸びる）が動的制御フロー・ragged shape 等を要求し、systems 屋の意見より AI 研究者の都合が優先される。FlashAttention カーネルの最適化リードタイムは 21→14 ヶ月と依然長い。 - GPU MODE（旧 CUDA MODE）のリーダーボードは累計 50 万件超の提出を集め、データ基盤というより eval 基盤として機能。門外漢（高校生・小学校教師）が LLM 駆動で上位カーネルを出す事例が出た。 - reward hacking が蔓延（torch.mean に 0 を返す、ストリーム同期回避、出力キャッシュ、VW 排ガス不正型など）。対策は「AI に AI 提出を審査させる」kernel guard で急減、人間を loop から外せた。 - 将来像: 学習と推論で同じカーネル、非 Transformer なら KV cache 不要でサービングは単純化。reward hacking 検出も含め全て RL 環境化でき「解ける、あとはスケール」。 #### Sponsor Lightning Talks: Afternoon (14:30) #### Panel Discussion (16:00) #### YPS Poster Session & Reception (17:00 - 19:00　Evergreen Ballroom) ### Day 2 (May 19 / Tue) #### Research Track Oral: Best Paper Session (08:45　Grand Ballroom 1) ##### StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation / Tianrui Feng （第1発表） > [[2026__MLSys2026__StreamDiffusionV2 A Streaming System for Dynamic and Interactive Video Generation|詳細メモ・Q&A はこちら]]（登壇者: Tianrui Feng / The University of Texas at Austin ※発表者は筆頭著者と推定） - テーゼ: ビデオ拡散モデルを SLO 制約下のリアルタイム・ライブストリーミングに適合させる training-free パイプライン。TTFF（time to first frame）最小化と per-frame deadline 厳守が目標。 - 効率の柱: dynamic T policy（入力サイズ縮小で TTFF を ESD 比 18×・V1 比 283× 削減）＋ SLA-aware streaming batch ＋ GPU-scalable pipelined orchestration（2 GPU で約 2×、4 GPU で約 3.5× の near-linear FPS）。 - 品質の柱: motion-aware noise scheduler（高速モーションへ低ノイズ注入で tearing 抑制、training-free）と sink-token + rolling KV cache（long-term drift 抑制）。 - 主要結果: TensorRT/量子化なしで 4×H100 上、14B モデルで 0.5s TTFF・58.28 FPS、1.3B で 64.52 FPS。1s SLO の miss rate 0.2%（CausVid は 99.9%）。 - Takeaway: ストリーミングビデオ生成は memory-bound 領域へ向かう黎明期分野で LLM サービング基盤との重複大。`pip install streamdiffusion-v2`、ComfyUI/TouchDesigner 等で実利用済み。 ##### LEANN: A Low-Storage Overhead Vector Index / Yichuan Wang （第2発表 / Best Paper） > [[2026__MLSys2026__LEANN A Low-Storage Overhead Vector Index|詳細メモ・Q&A はこちら]]（登壇者: Yichuan Wang / UC Berkeley SkyLab） - テーゼ: 現代のベクトルインデックスは「隠れたストレージコスト」が問題（76 GB 文書 → 約 200 GB インデックス、270% オーバーヘッド）。埋め込みを保存せず**オンザフライ再計算**＋グラフ枝刈りでこれを解消する。 - 機会: on-device RAG では生成が E2E レイテンシを支配（RTX 4090 で Generation 99.8% / Retrieval 0.24%）し QPS も低い → レイテンシを少し犠牲にストレージを大幅削減できる（5-minute rule の類比）。 - 技術: ①two-level search（PQ 近似 → 有望候補のみ exact 再計算）②GPU dynamic batching（最大 2x speedup）③High-Degree Preserving Graph Pruning（高 degree ノードを保持しグラフを 2x 圧縮、ほぼロスレス）。 - 結果: **インデックスを元データの 5% 未満・最大 50x 小**、RTX 4090 で 1 秒未満検索・**E2E RAG レイテンシ +5%**、HNSW 精度を維持し BM25/PQ より高精度。 - 影響: OSS は 11k+ stars、Claude Code 向け初の MCP ベース意味検索エンジン（Pass@1 0.63→0.73、トークン 29,448→18,033）。Best Paper 受賞。 ##### BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding / Cameron Shinn （第3発表 / Best Paper） > [[2026__MLSys2026__BLASST - Dynamic BLocked Attention Sparsity via Softmax Thresholding|詳細メモ・Q&A はこちら]]（登壇者: Cameron Shinn / UC Davis） - テーゼ: softmax thresholding による drop-in 型 dynamic block sparse attention。online softmax の row max を再利用し $\tilde{m}-m<\ln(\lambda)$ で block の softmax・$V$ ロード・$PV$ 行列積をスキップ。学習不要・事前計算なし。 - prefill（compute-bound: matmul/softmax スキップ）・decode（memory-bound: $V$ ロードスキップ、$K$/$V$ ロード並べ替え）双方を高速化。FlashAttention-4 の warp specialization 上に skip predicate reduction（VOTE+atomic）を実装、Blackwell/Hopper kernel。 - 自動キャリブレーションが閾値とコンテキスト長の反比例 $\lambda=a/L$ を発見。モデルごと prefill/decode 各 1 スカラーで任意スパース率を予測可能に制御。 - 約 75% スパース性まで精度維持。modern GPU で prefill 71.9% スパース性 1.52×・decode 73.2% で 1.48×、0% スパース性でオーバーヘッドなし。 - TensorRT-LLM / FlashInfer に kernel、ModelOpt にキャリブレーションツール、SGLang 対応済み・vLLM PR 進行中。NVIDIA/Rice/UC Davis/Meta の産学連携。Best Paper 受賞。 ##### ExecuTorch: A Unified PyTorch Solution to Run AI Models On-Device / Digant Desai （第4発表 / Best Industry Track Paper） > [[2026__MLSys2026__ExecuTorch - A Unified PyTorch Solution to Run AI Models On-Device|詳細メモ・Q&A はこちら]]（登壇者: Digant Desai / Meta, PyTorch org・ExecuTorch core maintainer ※司会・本人は "Kramer" と発話、著者欄では Digant Desai） - テーゼ: PyTorch ネイティブな統合エッジ展開フレームワーク。「PyTorch でテストしたものがデバイス上で動く」を実現し、変換・再実装なしで microcontroller〜スマホへ展開。 - 4 つの設計判断: ① PyTorch 2.0 + `torch.export`（Core ATen <300 ops）、② グラフベース backend-aware 量子化（PTQ/QAT、新規貢献）、③ AOT composable backend delegates（グラフ分割）、④ C++17 STL-free の tiny runtime。 - ベンチ（Samsung Galaxy S25 Ultra, 4-bit）: NPU で圧倒的優位。Llama 3.2 1B で 2974.7 tok/s（vs llama.cpp 174.4）、vision model レイテンシも MV3 0.24ms / ResNet50 0.55ms / ViT 3.81ms。 - バックエンド 12 種以上: CPU(XNNPACK/Cortex-M/Cadence)、GPU(Vulkan/MLX/AOTI Metal/CUDA/TensorRT)、NPU(Qualcomm QNN/Arm Ethos-U/MediaTek/Samsung ENN/NXP Neutron)、Multi(CoreML/OpenVINO)。 - Takeaway: v1.2 で GA、PyTorch Foundation 参加、Meta アプリ群・Ray-Ban スマートグラス・Quest で本番展開済み。Best Industry Track Paper 受賞。 #### Keynote: The Next Horizon of Systems: From MLSys to System Intelligence / Lidong Zhou (10:30 - 11:30) > [[2026__MLSys2026__The Next Horizon of Systems - From MLSys to System Intelligence|詳細メモ・Q&A はこちら]]（登壇者: Lidong Zhou / Microsoft・Microsoft Research Asia） - テーゼ: **AI はもはや単なるワークロードではなくシステムの「co-designer」**であり、AI とシステムの **co-evolution** が次の地平。これを **system intelligence（システム知能）** と呼ぶ。 - 分散システム研究（Lamport/Birrell/Schroeder ら）→ 本番化 → クラウド/ビッグデータ → 2020 年 AI インフラで「何かが根本から変わった」という来歴から、AI が課す課題にシステム研究者が圧倒される転機を語る。 - ケース: 集合通信スケジュール設計を「核心のスケジュールだけ AI に出させ、検証・コード生成・実行はシステムが担う」分離で自動化 → 人間設計者に匹敵/凌駕（学習で最大約 3 倍の性能差）。 - システム検証の旅: Verus（Rust 拡張）で約 2 年。bottom-up（AI に仕様＋invariant 生成）は 11 バグを即発見も、verifier を通っても正しいとは限らず **reward hacking**（証明スキップ・サイズ 1 のみ証明・仕様削除）が頻発 → **top-down ＋ 人間が TCB と意図を形式記述**へ転回。フロンティア AI の進歩で「2 年の努力が陳腐化」した逸話も。 - Takeaway: 将来のシステムは「**意図を厳密に定義し、実行時に provably upheld であることを保証する**」こと。検証ネイティブ言語の可能性、システムを原理的・科学的な学問にする呼びかけ。 #### Research Track Oral: Agentic AI 1 & Multimodal/Generative Models (13:00) ##### OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents / Reyna Abhyankar or Qi Qi （第1発表 / 13:00 - 13:15） > [[2026__MLSys2026__OSWorld-Human - Benchmarking the Efficiency of Computer-Use Agents|詳細メモ・Q&A はこちら]]（登壇者: Reyna Abhyankar / Qi Qi のいずれか, UC San Diego ※本人は名乗らず断定不可） - テーゼ: computer-use agent (CUA) は精度ばかり最適化され、人間が数分のタスクに数十分かかり実用に耐えない。OSWorld 上で CUA の**時間効率（latency/cost/failure）の初の研究**を行い、369 タスクを人手で再アノテーションしたベンチ **OSWorld-Human** を構築。 - レイテンシの大半は LLM 呼び出し（S2 は planning+reflection で約 76%、GTA1 は約 96%）。p50 で 10–15k uncached prompt tokens・per-step 20–30 秒、後半ほど履歴蓄積で prompt/コストが quadratic に増大（GTA1 planning は step 100 で約 \$8）。 - 失敗の主因は grounding 誤座標による**ループ**で、50+ ステップで失敗するタスクの **66% のステップが浪費**。 - 新指標 **Weighted Efficiency Score (WES)** = avg(reward·(human steps/agent steps))·(1 − avg steps in failures/max steps)。相対順位は OSWorld と保存されるが絶対値が激減。 - 最良の Agent S2 は **41.4% → single-action WES 15.6% → grouped-action WES 9.6%**（必要の 2.7–4.3x のステップを浪費）。改善策: action grouping / efficient rollback / grounding post-training / history compression / LLM serving 改善。 ##### VeriMoA: A Mixture-of-Agents Framework for Spec-to-HDL Generation / Heng Ping （第2発表 / 13:15 - 13:30） > [[2026__MLSys2026__VeriMoA A Mixture-of-Agents Framework for Spec-to-HDL Generation|詳細メモ・Q&A はこちら]]（登壇者: Heng Ping / USC, advised by Paul Bogdan） - テーゼ: 訓練不要の Mixture-of-Agents (MoA) で自然言語仕様→HDL（Verilog）を生成。標準 MoA の error propagation と reasoning 空間制約を、(1) quality-guided caching と (2) C++/Python 中間表現による multi-path generation で克服。 - Quality-guided caching: 全中間 HDL を global cache に格納しシミュレーションベースで品質採点、層横断で top-N を選択 → 層を越えた単調品質改善（理論保証つき）。 - Multi-path: Base/C++/Python の 3 エージェント型で heterogeneous な推論軌跡を作り解の多様性を確保。設計指針は線形モデル `t = α·quality + β·diversity + γ`（α>β）。 - 主要数値（スライド準拠）: VerilogEval 2.0 / RTLLM 2.0 で **Pass@1 +15〜33 ポイント**改善。小型が大型を凌駕（VeriMoA-Qwen7B 56.44% > VeriMaAS-Qwen32B 53.6%）。fine-tuned に匹敵かつ相補的（VeriRL-CodeQwen2.5+VeriMoA = 82.47%）。構成は L=4 層・M=6 agents/層、Simulator は Icarus Verilog。 - Takeaway: アーキテクチャ設計が scale に勝る。約 10× トークンで +20〜25 ポイント、等予算では Width>Depth、LLM 生成 testbench でも劣化は軽微（−2.8〜−4.6pt）。 ##### When Enough is Enough: Rank-Aware Early Termination for Vector Search (Terminus) / Jianan Lu （第3発表 / 13:30 - 13:45 / ビザ問題のため録画＋リモート発表） > [[2026__MLSys2026__When Enough is Enough - Rank-Aware Early Termination for Vector Search|詳細メモ・Q&A はこちら]]（登壇者: Jianan Lu / Princeton University, advised by Michael J. Freedman） - テーゼ: ベクトル検索（graph-based ANN）は top-k を一律最適化するが、RAG の効用は top-ranked に偏在する（top-heavy）。このミスマッチが不要な disk I/O を生む。 - 提案: **Terminus** は graph index と I/O サブシステムの間に termination engine を挿入し、rank-weight 関数 $w(r)=e^{-(r/\tau)^\beta}$（$\tau=1.8,\beta=0.5$）で per-I/O 効用 $U_t=\sum_{r\in\Delta R_t}w(r)$ を推定。直近 $X$ I/O の効用が閾値 $\varepsilon$ 以下で early termination（経験的に X=2）。 - 新指標 **Ranked Recall**（rank 位置を重み付け、Recall の rank-agnostic 欠陥を補正）。 - 主要数値: 同一精度ターゲットで既存 early termination 比 **最大 1.4x**、early termination なし比 **最大 3.2x** スループット。VBASE 比 LLaMA-2-7B / acc 0.33 で **1.6x**、IO-Budget 比 Pythia-1B / acc 0.16 で **1.4x**。1 ANN クエリ = 10s–100s の小 I/O。 - Takeaway: rank-aware retrieval が検索性能とアプリ精度のより良いトレードオフを実現する。 ##### Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems (PIKE) / Kirill Nagaitsev （第4発表 / 13:45 - 14:00） > [[2026__MLSys2026__Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems|詳細メモ・Q&A はこちら]]（登壇者: Kirill Nagaitsev / Northwestern University, DOE CSGF） - テーゼ: LLM ベースのマルチエージェント進化的探索（**PIKE** = PyTorch Inference Kernel Evolution）で PyTorch を Triton/CUDA カーネルへ自動最適化し、ML モデルコンパイラを容易に上回る。 - 最良 PIKE-B は KernelBench Level 3-pike で PyTorch Eager 比 geomean **2.88x**（torch.compile 1.64x / METR 1.40x / TensorRT 1.41x を凌駕）、H100 上、予算 300 LLM クエリ/タスク（Gemini 2.5 Pro で約 \$30–50/タスク）。 - RQ1: error-fixing は critical（EFA あり 2.88x → no EFA 1.98x、5 試行で解の 70–80% が修正）。\$25 予算では cheap EFA（Gemini 2.5 Flash）が勝つ。 - RQ2: 数百クエリ regime では exploit 重視が最良（1 island top-3=2.88x vs 3 islands=1.99x）。Level 5 でも exploit 調整が単調に高速化（PIKE-B 2.57x）。 - Takeaway: (1) コンパイラは容易に上回られる、(2) error-fixing への予算配分が critical、(3) 数百クエリ予算では exploit 重視が最良。OSS: `github.com/pike-project/pike`。 ##### Matrix: Peer-to-Peer Multi-Agent Synthetic Data Generation Framework / Dong Wang （第5発表・最終 / 14:00 - 14:15） > [[2026__MLSys2026__Matrix - Peer-to-Peer Multi-Agent Synthetic Data Generation Framework|詳細メモ・Q&A はこちら]]（登壇者: Dong Wang / Meta FAIR） - テーゼ: 中央集権オーケストレーションのスケーラビリティボトルネックを、制御/データフローをシリアライズ済みメッセージとしてエージェント間で受け渡す P2P アーキテクチャ（Ray+SLURM 上）で解消する合成データ生成ランタイム **Matrix**。同一ハードウェア・同等品質のまま 2〜15x の高スループット。 - ケース1 (Collaborative Reasoner/Coral): 31 ノード=248 GPU で 1M trajectories を 4:17:05、公式 baseline 比 **6.8x**（129,833 vs 18,917 tokens/s）。障害注入（12 分毎に actor kill、計 7 回）でもタスク損失約 2%・スループット低下 5% のみ。 - ケース2 (NaturalReasoning): 25M DCLM Web 文書をフィルタ（success 5.45%、約 1M Q&A）。Ray Data batch baseline 比 row-level scheduling で **2.1x**（5,853 vs 2,778 tokens/s）。3 並列性のうち task parallelism が最も効く（3.8x）。 - ケース3 (Tau2-bench): 13 H100・gpt-oss-120b で baseline 比 **15.4x**（41,003 vs 2,654 tokens/s、reward 同等）。512 バイト超の会話を Ray Object Store にオフロードしピークネットワークを約 1GB/s→760MB/s（約 20% 減）。 - Takeaway: ステートレス Ray actor + per-role broker + semaphore back pressure で、actor 数からデカップリングされた数万並行ワークフローを at-most-once 実行。Hydra/LangGraph で設定可能、OSS 公開（`github.com/facebookresearch/matrix`）。 > [!note] 並行セッション: Multimodal and Generative Models（Grand Ballroom 2、13:00 - 14:15 PDT） > 上記の Agentic AI 1 と並行して Grand Ballroom 2 で開催。Moderator: Haoran Qiu。以下 5 件の oral 発表。 ##### ContextPilot: Fast Long-Context Inference via Context Reuse / Yinsicheng Jiang （Multimodal/Generative Models 第1発表 / 13:00 - 13:15） > [[2026__MLSys2026__ContextPilot Fast Long-Context Inference via Context Reuse|詳細メモはこちら]]（登壇者: Yinsicheng Jiang / University of Edinburgh） - 長コンテキスト推論のプリフィルレイテンシを、コンテキスト再利用（context reuse）という新メカニズムで最大 3.5 倍削減するシステム ContextPilot を提案。コンテキストアライメント・重複排除・アノテーションの 3 技法を組み合わせ、KV キャッシュヒット率を 5% から最大 67% へ引き上げる。 - マルチセッション RAG で LMCache・RadixCache・CacheBlend を全モデル・全データセットで上回り、プリフィルスループットを最大 3.08 倍向上。マルチターン RAG では TTFT を最大 3.5 倍削減（0.76 秒 → 0.22 秒）。 - DeepSeek-R1（671B）MoE モデルでもキャッシュヒット率を 5% → 60% に改善し、16xH20 で 1.81 倍のスループット向上を達成。エージェントワークロードでもプリフィルレイテンシ 63.6% 削減・精度維持を実証。 - エッジデバイス（M3 MacBook Air、Jetson AGX Orin）でも 1.5–2.4 倍のレイテンシ削減を確認し、データセンターからエッジまでの汎用性を示す。 - リクエストあたりのオーバーヘッドは約 0.7 ms と無視できる水準。コンテキストアノテーションにより精度はアライメント単独比で +1.4–4.4% 回復。 ##### db-SP: Accelerating Sparse Attention for Visual Generative Models with Dual-Balanced Sequence Parallelism / Siqi Chen （Multimodal/Generative Models 第2発表 / 13:15 - 13:30） > [[2026__MLSys2026__db-SP Accelerating Sparse Attention for Visual Generative Models with Dual-Balanced Sequence Parallelism|詳細メモはこちら]]（登壇者: Siqi Chen / Tsinghua University） - DiT のブロック単位スパースアテンションに既存シーケンス並列化（Ulysses / Ring Attention / USP）を適用するとヘッドレベル・ブロックレベルの二段階でワークロード不均衡が発生し、スパース不均衡比 $\rho_s$ は最大 1.513 に達する。 - db-SP は貪欲ソートによるヘッドレベル分割（分割後 $\rho_s \leq 1.05$）と報酬因子付きブロックレベル分割（分割後 $\rho_s < 1.01$）の二段階で均衡を達成し、デノイジングステップ間のマスク類似性を利用して再分割回数を 50 ステップ中 5 回に抑える。 - レイテンシ予測モデルにより UxRy 戦略空間からレイヤーごとに最適並列戦略を動的選択。 - Wan2.1-T2V-14B / CogVideoX1.5-5B を A800/H800 8 GPU で評価し、最先端 SP 手法に対し平均エンドツーエンド 1.25 倍・アテンション限定 1.40 倍の高速化を達成。分割オーバーヘッドはエンドツーエンドの 5% 未満。 - xDiT・ParaAttention への統合が完了済み。LLM への適用は GQA/MLA によるヘッド数制約がオープン課題。 ##### SwiftGS: Algorithm and System Co-Optimization for Fast 3D Gaussian Splatting on GPUs / Lingjun Gao （Multimodal/Generative Models 第3発表 / 13:30 - 13:45） > [[2026__MLSys2026__SwiftGS Algorithm and System Co-Optimization for Fast 3D Gaussian Splatting on GPUs|詳細メモはこちら]]（登壇者: Lingjun Gao） - 3DGS レンダリングパイプラインのソートとラスタライゼーション（合計 80% 超の計算時間）に潜む 3 種の冗長性を体系的に特定し、アルゴリズムとシステムの協調最適化で解消する。 - 適応的アーリーソーティングにより深度ソートを intersection リスト構築前に実行し、ソート計算量を平均 28.90%・最大 43.56% 削減。 - GPU ベース軸共有ラスタライゼーションで α-compute 段階の SASS 命令を 19.79% 削減し、動的閾値処理でフィルタ済みガウシアンの冗長命令をさらに 25% 削減。 - gsplat ベースライン比で RTX 3090 平均 1.20 倍、L40S 最大 1.41 倍の高速化を達成。PSNR 低下は −0.13 dB 以下と無視できる水準。 - 既存の加速手法（PUP-GS 等）と直交的であり、組み合わせ時にも 1.43 倍の高速化を維持。 ##### TriInfer: Hybrid EPD Disaggregation for Efficient Multimodal Large Language Model Inference / Xianzhe Dong （Multimodal/Generative Models 第4発表 / 13:45 - 14:00） > [[2026__MLSys2026__TriInfer Hybrid EPD Disaggregation for Efficient Multimodal Large Language Model Inference|詳細メモはこちら]]（登壇者: Xianzhe Dong / BUAA・JD.com） - MLLM 推論の 3 ステージ（エンコード・プリフィル・デコード）を異種インスタンスに分離する Hybrid EPD Disaggregation アーキテクチャを提案。ワークロードと SLO に応じて `E+P+D` / `EP+D` / `ED+P` を自動選択。 - デュアル CUDA ストリームでビジョンモデルと言語モデルをカーネルレベルで並列実行し、GPU 利用率を向上。 - トークン数ではなくバッチ実行時間を制約とするステージレベルスケジューリングを導入し、画像エンコードレイテンシに起因する TBT SLO 違反を解消。 - 4 サーバ × 8 H20 GPU で LLaVA / Qwen2-VL を評価。vLLM・SGLang 比最大 2.4 倍（Qwen2-VL-7B では SGLang 比最大 7.9 倍）のグッドプット向上を 90% SLO 達成率で確認。 - マイグレーションオーバーヘッドはエンドツーエンドレイテンシの 1% 未満。ビデオ・音声への拡張を想定。 ##### TiDAR: Think in Diffusion, Talk in Autoregression / Jingyu Liu （Multimodal/Generative Models 第5発表 / 14:00 - 14:15） > [[2026__MLSys2026__TiDAR Think in Diffusion Talk in Autoregression|詳細メモはこちら]]（登壇者: Jingyu Liu / NVIDIA） - 拡散による並列ドラフト（Thinking）と自己回帰による逐次検証（Talking）を単一モデル・単一フォワードパスで統合するシーケンスレベルのハイブリッドアーキテクチャ TiDAR を提案。 - GPU 上のフリートークンスロット（小バッチ時に 1 トークンと K トークンの復号レイテンシがほぼ同等になる現象）を活用し、追加レイテンシなしに並列ドラフトを実現。 - SGLang + 単一 H100 上で AR（Qwen3 8B）比最大 5.80 倍、EAGLE-v3 比最大 2.71 倍のデコードスループットを達成。 - 尤度評価（MMLU 76.57%、常識推論平均 75.40%）で AR モデルとの品質差をほぼ解消し、Dream・LLaDA 等の拡散モデルを品質・速度の双方で凌駕。 - 厳密 KV キャッシュを追加計算なしにサポートし、スタンドアロンモデルとしてサービング親和的に設計されている点が投機的復号との構造的差異。 #### Research Track Oral: Agentic AI 2 & LLM Serving 1 (14:45) > [!note] セッション構成について > 本セッションは "Agentic AI 2" と "LLM Serving 1" の合同セッション（並行開催）。Agentic AI 2 は 5 件、LLM Serving 1 は 5 件の oral 発表。 ##### Hippocampus: An Efficient and Scalable Memory Module for Agentic AI / Yi Li ら（Agentic AI 2 / 14:45 - 15:00） > [[2026__MLSys2026__Hippocampus An Efficient and Scalable Memory Module for Agentic AI|詳細メモはこちら]]（登壇者: Yi Li ら / HPE Labs・UT Dallas） - コンパクトなバイナリシグネチャによる意味検索とロスレスなトークン ID ストリームによる正確なコンテンツ復元を組み合わせたエージェント型メモリ管理システム HIPPOCAMPUS を提案。 - 中核の Dynamic Wavelet Matrix (DWM) により、圧縮ドメイン内で超高速検索を実現しつつ密ベクトルやグラフ計算のコストを回避。 - LoCoMo・LongMemEval ベンチマークで既存手法比 1.1–31.5 倍の高速化、1.1–14.5 倍のトークンフットプリント削減を達成。 - ストレージは固定トークナイザ語彙に対しメモリサイズに線形増加し、長期エージェント運用に適する。 - ランダムインデキシング＋ Hamming-ball 検索で高速近似意味検索を実現、閾値は学習不要。 ##### AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents / Hojoon Kim ら（Agentic AI 2 / 15:00 - 15:15） > [[2026__MLSys2026__AgenticCache Cache-Driven Asynchronous Planning for Embodied AI Agents|詳細メモはこちら]]（登壇者: Hojoon Kim / SNU・Stanford） - 身体性 AI タスクが示す「プラン局所性」（次プランが現プランから高確率で予測可能）を活用し、キャッシュされたプランの再利用で LLM 呼び出しを回避するフレームワーク。 - LLM プランニングが全実行時間の 70–100% を占める問題に対し、バックグラウンドの Cache Updater が非同期に検証・修正を行う設計。 - 4 ベンチマーク・3 モデルスケール（計 12 構成）平均で、タスク成功率 +22%、シミュレーションレイテンシ −65%、トークン使用量 −50%。 - キャッシュサイズは 0.1–1.0 KB と極めて軽量。 - CPU 分岐予測からの着想、スコアリング式 S = C × I による遷移選択が特徴。 ##### TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval / Chien-Yu Lin ら（Agentic AI 2 / 15:15 - 15:30） > [[2026__MLSys2026__TeleRAG Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval|詳細メモはこちら]]（登壇者: Chien-Yu Lin ら / University of Washington） - RAG パイプラインで CPU オフロードしたインデックスの検索レイテンシを、「ルックアヘッドリトリーバル」で LLM 生成と並行にプリフェッチすることで解消。 - IVF クラスタの連続ステージ間重複率が平均 82% という高い相関を発見し、プリフェッチの根拠とする。 - シングルクエリで最大 1.98 倍のレイテンシ削減、バッチ処理で平均 1.83 倍のスループット向上を達成。 - マルチ GPU スケーリングで NQ データセットにおいて 2/4/8 GPU で 2.0/3.8/6.5 倍のスループット。 - ACM アーティファクトバッジ 3 種取得。OSS: `github.com/uw-syfi/TeleRAG`。 ##### FlashAgents: Accelerating Multi-Agent LLM Systems via Streaming Prefill Overlap / Taosong Fang ら（Agentic AI 2 / 15:30 - 15:45） > [[2026__MLSys2026__FlashAgents Accelerating Multi-Agent LLM Systems via Streaming Prefill Overlap|詳細メモはこちら]]（登壇者: Taosong Fang ら / ISCAS・中国科学院大学） - マルチエージェント LLM ワークフローで、上流エージェントのデコードと下流のプリフィルをトークンレベルでストリーミング重畳する IASIP 方式を提案。 - 同一ターン内のプレフィクスキャッシュ（ラディックスツリー）により同時リクエスト間の共有プレフィクスを検出・再利用。 - 制御ベンチマークで最大 3.52 倍高速化（全 240 構成で改善）、実ワークフロー（MapReduce）で最大 40.3% レイテンシ削減。 - SGLang 上に実装、AutoGen 統合済み。オーバーヘッドはチャンクサイズ 512 で約 1.2 倍。 - リニアチェーン・Fan-out・Fan-in の複雑トポロジに対応。 ##### Ontology-Guided Long-Term Agent Memory for Conversational RAG / Shuang Cao, Rui Li（Agentic AI 2 / 15:45 - 16:00） > [[2026__MLSys2026__Ontology-Guided Long-Term Agent Memory for Conversational RAG|詳細メモはこちら]]（登壇者: Shuang Cao, Rui Li / Hill Research） - 長期マルチセッション対話で語彙的重複のないクエリが過去の嗜好を想起できない「暗黙的想起失敗」問題に取り組む。 - ユーザー事実をメモリグラフに抽出し、会話コンテキストでクエリを補強、ハイブリッドリトリーバル＋予算認識型ルーターで品質とコストを均衡。 - 独自ベンチマークで Recall@10 = 0.706（密検索のみ 0.580）、nDCG@10 を 0.41 → 0.51 に改善。 - ロングコンテキスト手法比でコスト 81% 削減、クロスモダリティ不一致を 47% 削減。 - フィードバックループによるドリフト監視と定期再学習の運用設計を含む。 ##### Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token / Ruibin Bachkaniwala ら（LLM Serving 1） > [[2026__MLSys2026__Stream2LLM - Overlap Context Streaming and Prefill for Reduced Time-to-First-Token|詳細メモはこちら]]（登壇者: Ruibin Bachkaniwala ら / Georgia Tech） - コンテキスト検索（RAG 等）の遅延が TTFT に直列加算される問題に対し、検索とプリフィルを時間的に重畳するストリーミング対応サービングシステム Stream2LLM を提案。 - 追記モード（漸進的蓄積）と更新モード（反復的洗練によるキャッシュ無効化）を区別し、二段階スケジューリング（決定＋リソース獲得）で適応。 - Llama-3.1-8B-Instruct / H200 (TP=2) で追記モード QPS=4 において非ストリーミング比 TTFT **11 倍**高速化、更新モードで約 **2 倍**高速化。 - メモリ逼迫下でも P50・P99 ともにベースラインを上回るロバスト性を実現。 - ACM アーティファクトバッジ 3 種（Available / Functional / Results Reproduced）取得。 ##### SuperInfer: SLO-Aware Rotary Scheduling and Memory Management for LLM Inference on Superchips / Jiahuan Yu ら（LLM Serving 1） > [[2026__MLSys2026__SuperInfer - SLO-Aware Rotary Scheduling and Memory Management for LLM Inference on Superchips|詳細メモはこちら]]（登壇者: Jiahuan Yu / UIUC SSAIL） - GH200 スーパーチップ（NVLink-C2C 約 900 GB/s）向けの SLO 認識 LLM 推論システム SuperInfer。KV キャッシュの GPU-CPU 間オフローディングを OS プロセススケジューリング着想のローテーション方式で実現。 - 中核は RotaSched（Virtual Lag Time ベースの LVF スケジューラ）と DuplexKV（NVLink-C2C 全二重転送、理想帯域の 94% 達成、素朴手法比 **33 倍**高速）。 - TTFT SLO 達成率を最大 **+74.7%**、スループットを最大 **+29.2%** 改善しつつ TBT SLO はほぼ同等を維持。 - ボトルネックは NVLink-C2C ではなく Grace LPDDR5X の DRAM 帯域（約 384 GB/s）。 - ACM アーティファクトバッジ 3 種取得。 ##### PLA-Serve: A Prefill-Length-Aware LLM Serving System / Jianshu She ら（LLM Serving 1） > [[2026__MLSys2026__PLA-Serve A Prefill-Length-Aware LLM Serving System|詳細メモはこちら]]（登壇者: Jianshu She / MBZUAI） - プリフィルステージ内部で長短リクエストを分離する「第 4 のサービングモード」を提案。既存の PD 分離と完全互換で、プリフィルクラスタ内で動作。 - 3 つのイノベーション: 動的インスタンスバランシング、短プリフィル向け CUDA Graph バケット化、適応的待機深度スケジューラ。 - 素の SGLang 比でプリフィルレイテンシ **30%** 以上削減、SLO 違反 **28%** 低減、Qwen2.5-32B でスループット **35%** 改善。 - 8 種の実ワークロードトレースで短プリフィル（< 256 トークン）の偏在を実証（LMSYS-Chat-1M で 95.5%）。 - スライド末尾で LAPS への改名を告知。 ##### TokenWeave: Efficient Compute-Communication Overlap for Distributed LLM Inference / Raja Gond ら（LLM Serving 1） > [[2026__MLSys2026__TokenWeave - Efficient Compute-Communication Overlap for Distributed LLM Inference|詳細メモはこちら]]（登壇者: Raja Gond ら / Microsoft Research India） - テンソル並列 LLM 推論で 1024 トークン程度の小バッチでも計算通信重畳を実現する初のシステム TokenWeave。vLLM 0.8.5 V1 上に実装。 - 波量子化回避のスマート分割、冗長 RMSNorm 排除、NVSHARP/Multimem 活用の融合 AllReduce–RMSNorm カーネル（2〜8 SM で通信帯域飽和）を組み合わせる。 - 8×H100 DGX 上で遅延 **最大 1.28 倍**改善、スループット **最大 1.19 倍**向上。複数設定で通信ゼロの理論上限すら超過。 - 既存 SOTA の TileLink は 2K トークン未満で逆効果だが TokenWeave は 1K から改善開始。 - ACM アーティファクトバッジ 3 種取得。OSS: `github.com/microsoft/tokenweave`。 ##### From Tokens to Layers: Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill / Gunjun Lee ら（LLM Serving 1） > [[2026__MLSys2026__From Tokens to Layers - Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill|詳細メモはこちら]]（登壇者: Gunjun Lee / Seoul National University） - MoE モデルのチャンクドプリフィルではチャンクごとにエキスパート重みの冗長再読み込みが発生しメモリトラフィック最大 39% 増加。レイヤードプリフィルはスケジューリング軸をトークンからレイヤーへ転換し、この問題を完全に排除。 - モデルを連続するレイヤーグループに垂直分割し、各グループ内でプロンプト全体を一括処理しつつストールフリーデコードを維持。 - TTFT 最大 **70%** 削減、エンドツーエンドレイテンシ **41%** 削減、エキスパート読み込みトラフィック **39%** 削減、トークンあたりエネルギー最大 **22%** 削減。 - 2×H100 上で Qwen3-30B-A3B（128 エキスパート）と GPT-OSS-20B（32 エキスパート）を ShareGPT / arXiv Summarization で評価。 - チャンクドプリフィルのトークン次元分割に直交するレイヤー次元分割を提示し、計算効率・エネルギー効率・レイテンシの三者を同時改善。 #### Research Track Oral: Security/Privacy & Federated Learning (16:30) - #### Poster Session 1 & Opening Reception (18:00 - 20:00　Evergreen Ballroom) ### Day 3 (May 20 / Wed) #### Research Track Oral: LLM Serving 2 & LLM Training 1 (08:30) ##### BEAM: Joint Resource–Power Optimization for Energy-Efficient LLM Inference under SLO Constraints / Hyunjae Lee (08:30 - 08:45) > [[2026__MLSys2026__BEAM - Joint Resource-Power Optimization for Energy-Efficient LLM Inference under SLO Constraints|詳細メモはこちら]]（登壇者: Hyunjae Lee / KAIST School of Computing） - SLO 達成後のレイテンシスラックをエネルギー節約に転用する発想。リソース効率（バッチング）と電力効率（DVFS）を一方固定で最適化すると局所最適に留まる結合問題を解く。 - イベント駆動コントローラ **BEAM** が GPU 周波数・チャンクサイズ・マイクロバッチ数をリアルタイムに同時調整。サブミリ秒の軽量予測モデルで意思決定。 - vLLM 上の実装で、エンドツーエンド GPU エネルギー消費を vLLM 比**最大 51%**、Window-DVFS 比**約 30%** 削減。TTFT SLO 達成率 94.9%、TBT SLO 達成率 94.5%。 - バースト耐性・負荷感度・モデル精度への影響・パイプライン並列感度を広範に評価。オフラインプロファイリングで DVFS バレー（最小エネルギー周波数）を事前同定。 - Code: github.com/jlee335/BEAM-artifact。ACM アーティファクトバッジ 3 種取得。 ##### MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing / Zhaoyuan Su (08:45 - 09:00) > [[2026__MLSys2026__MorphServe - Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing|詳細メモはこちら]]（登壇者: Zhaoyuan Su / University of Virginia） - 非定常なバーストワークロードに対し、推論中に重み精度と KV キャッシュ容量を協調的に適応させるランタイムフレームワーク **MorphServe**。 - **LayerSwapper** が感度ベースの Layer Importance Score で優先順位付けしたレイヤを非同期 CUDA ストリームで量子化版にスワップ（約 6 ms でデコードとオーバーラップ）。**KVResizer** が解放メモリを KV キャッシュへ弾力的に転用。 - フルプレシジョン比で平均 SLO 違反 **92.45%** 削減、P95 TTFT **2.2–3.9 倍**改善。静的量子化比で精度劣化 **41.3%** 削減。 - PyramidKV 比で P95 TTFT **最大 2.4 倍**低減しつつ、より高い生成品質を維持。パレート解析で全ベースラインを支配。 - Code: github.com/ds2-lab/MorphServe。 ##### FaaScale: Unlocking Fast LLM Scaling for Serverless Inference / Minchen Yu (09:00 - 09:15) > [[2026__MLSys2026__FaaScale - Unlocking Fast LLM Scaling for Serverless Inference|詳細メモはこちら]]（登壇者: Minchen Yu / CUHK-Shenzhen。共著: UVA, HKUST, Alibaba, Nokia Bell Labs） - サーバレス LLM 推論のバースト性・大リソースフットプリント・モデル増殖に対し、マルチキャストとパイプライン並列推論を共同設計する **PipeCast** 方式でスケーリングを高速化。 - モデルブロックを k-way マルチキャストしつつ到着した部分から推論を開始する 2D 実行パイプライン。ローカリティ駆動型のホット/ウォーム/コールド起動でメモリ管理を最適化。 - H800 クラスタでマルチキャスト **1.82 倍**高速化、テイル TTFT レイテンシ**最大 5 倍**改善、GPU コスト **31.3%** 削減。BurstGPT 実トレースで検証。 - Python 10K + C++ 1K 行、Derecho RDMC ベースで実装。マルチ GPU 対応・モード切替を含む。 - サーバレスの従量課金モデルとバースト耐性を両立する設計。 ##### BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization / Youhe Jiang (09:15 - 09:30) > [[2026__MLSys2026__BOute - Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization|詳細メモはこちら]]（登壇者: Youhe Jiang / University of Cambridge。発表者: Ran Yan / HKUST） - ヘテロジニアスなモデル（小/大）とヘテロジニアスな GPU（H100, RTX 5090 等）を共同活用し、ルーティング戦略とモデルデプロイメントを協調最適化する品質認識スケジューリングシステム **BOute**。 - 多目的ベイズ最適化（MOBO）フレームワーク: オフラインの 2 段階シミュレーションで性能 DB を構築し、ガウス過程サロゲート + 制約付き qNEHVI でパレート最適を探索。 - SOTA 比レイテンシ**最大 157%**・平均 **59%** 改善、または同一性能でコスト **15–61%**（平均 **38%**）削減。 - モデル-GPU 適合性の知見: 小モデルは RTX 5090 で 1.5 倍、大モデルは H100 で 2 倍低レイテンシ。アルゴリズム-システム協調設計の必要性を実証。 - スケジューリング時間 23.5 秒–1.2 分。分散シフトへの適応やモデル並列の拡張がオープン課題。 ##### Locality-Aware Beam Scheduling for Efficient Test-Time Compute with a Consumer-grade GPU / Hsing-Ti Wang (09:30 - 09:45) > [[2026__MLSys2026__Locality-Aware Beam Scheduling for Efficient Test-Time Compute with a Consumer-grade GPU|詳細メモはこちら]]（登壇者: Hung-Tso Shiao / National Taiwan University） - テストタイム計算（TTC）のステップワイズビームサーチでは KV キャッシュがビーム数に比例して膨張し、コンシューマ GPU でメモリオフローディングの I/O が深刻なボトルネックとなる。 - 2 種の局所性パターンを発見: **トークン間局所性**（同一ビーム内の連続トークンが同一 KV データにアクセス）と**ビーム間局所性**（共通プレフィクスを共有するビーム群が重複 KV セグメントを再利用）。 - RTX 4090 上で OPT-6.7B **3.39–9.72 倍**、LLaMA-2-7B **3.60–8.74 倍**、Qwen-7B **4.17–7.99 倍**の速度向上。KV キャッシュ転送量を **95% 以上**削減。 - I/O 比率を 70–90% から 15% 以下へ低減。バランスドグルーピングとプリフェッチで計算とデータ移動をオーバーラップ。 - 重みオフローディングとの統合、TTC パイプライン全体への組み込みがオープン課題。 ##### Breaking the Ice: Analyzing Cold Start Latency in vLLM / Huzaifa Shaaban Kabakibo (09:45 - 10:00) > [[2026__MLSys2026__Breaking the Ice - Analyzing Cold Start Latency in vLLM|詳細メモはこちら]]（登壇者: Huzaifa Shaaban Kabakibo / Paderborn University。共著: Animesh Trivedi [IBM Research Europe, Zurich]、Lin Wang [Paderborn University]） - vLLM の起動レイテンシに関する初の体系的特性評価。起動プロセスを 6 つの基礎的ステップ（フレームワークブートストラップ、トークナイザ初期化、モデルロード、Torch コンパイル、KV キャッシュプロファイリング、CUDA グラフキャプチャ）に分解。 - 起動プロセスは**主に CPU 律速**であり、GPU 変更（H100 vs L40S）の影響はほぼ無視できる一方、CPU 変更は全ステップに顕著な影響を与える。 - 各ステップはモデル・システムパラメータに対して解釈可能な線形スケーリングを示す（PCC 0.92〜1.00）。`torch.compile` 導入（v0.7.0）が起動時間を約 2〜3 倍に増加させた主因。 - ホワイトボックス分解型予測器（ステップごとの独立した線形回帰）で起動レイテンシを MSE 2.42 秒で推定。v0.11 でも MSE 2.62 秒と精度を維持。 - 22 モデル（0.5B〜32B）、2 種 GPU、2 種 CPU で検証。ACM アーティファクトバッジ 3 種取得。OSS: github.com/upb-cn/vllm-startup-profiler。 ##### BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models / Yuyang Huang (08:30 - ) （第1発表） > [[2026__MLSys2026__BOOST - Bottleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models|詳細メモ・Q&A はこちら]]（登壇者: 司会紹介は Yuyang Huang / UC Santa Barbara PhD ※著者欄に同名なし。筆頭著者は Zhengyang Wang\*・Ziyue Liu\*, UCSB & Argonne National Lab） - テーゼ: low-rank bottleneck アーキ（1 線形層を $r\ll d$ の bottleneck を挟む 2 層に分解、約 2x 少パラメータ/FLOPs/メモリ）はアルゴリズム的に効率的だが、標準 tensor parallel ではスケールしない。単一 GPU では約 1.6x 高速でも TP=4 では通信支配で full-rank 比 **約 40% 遅い**。 - 提案 **Bottleneck-aware Tensor Parallelism (BTP)**: TP trunk 境界を bottleneck へ 1 層ずらし、同期を full 次元 → **low-rank 次元 $[b,s,r]$** に移す（per-block 通信量 $7bsr$、vanilla 比 5.7x 超・full-rank 比 1.14x 削減）。さらに敏感な GEMM を full 次元で分割し arithmetic intensity を上げる（vanilla TP の 2.5x）。 - システム最適化: **Online RMSNorm**（sharded-unsafe な正規化統計を次 collective に fuse、latency-bound 小 all-reduce を排除し $TP=1$ と数学的等価）、**Linear Layer Grouping**（fused/batched GEMM、per-block 1.16x）、**Comm-free Low-rank Activation Checkpointing**（low-rank activation のみ保存し通信不要 re-forward、Eff_ckpt 1.70x）。 - 主要結果（Nanotron 実装、最大 8 node/32×A100、LLaMA-2 1B–40B、CoLA/SVD/LaX）: BOOST は **FullRank-TP 比 1.46–1.91x・Vanilla low-rank TP 比 1.87–2.27x** 高速。通信時間は FullRank 比最大 8% 速く Vanilla 比 5.3x 速い。同一 FLOPs でも GEMM 利用率向上で計算時間短縮。 - Takeaway: アルゴリズム的効率は大規模で自動的に実速度に直結しない。システムがアーキテクチャ設計を意識する必要があり、今後の効率モデルはシステムと co-design すべき。Q&A: AI による最適化自動発見でも、新アーキの検証は容易でなくシステム設計はアーキ設計と密結合（陳腐化しない）。Code: github.com/Arcana-2236/BOOST。 ##### Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP / Yilong Zhao （第2発表） > [[2026__MLSys2026__FCP - Unleashing Scalable Context Parallelism for Foundation Models Pre-Training|詳細メモはこちら]]（登壇者: Yilong Zhao / UC Berkeley Sky Lab。共著: Xiaonan Nie\* ら ByteDance Seed / UW / UC Davis） - テーゼ: **FCP（Flexible Context Parallelism）** は foundation model 事前学習の新しい context parallelism。各シーケンスを元長によらず固定サイズ block に分割し、block レベルで sharding・scheduling して compute 効率と workload balance を両立。 - 既存手法の2課題: (1) 短シーケンスの over-sharding は kernel 効率低下＋追加通信（length-aware が必要）、(2) 等トークン数 ≠ balanced workload（attention は $O(L^2)$ compute で長シーケンスほど密、workload-aware packing が必要）。Ring=balance のみ・ByteScale=efficiency のみ・WLB-LLM=切替のみ。 - 手法3要素: ① Block Distributor（fixed-size block + LPT greedy 割当）、② Communication Planner（任意 P2P を bipartite matching に帰着し congestion-free 化、Hopcroft-Karp $O(N^{2.5})$、block-level pipelining で overlap）、③ Transparent Reshuffler。実装は Python 4K 行 + FA3 改変、CUDA Green Context で通信/計算 SM 分離。 - 評価（Llama-3-70B 構成・実トレース最大 512K context・最大 256 GPU）: compute/comm imbalance 5% 未満、single-GPU FA 比 90% 超 MFU 維持、attention MFU を **1.13×〜2.21×** 改善し near-linear scaling。block size 4K が sweet spot。 - 限界: 任意 P2P（実質 all-to-all）に適した fat-tree/rail-optimized network 前提で、torus ベース TPU v3 では性能制限。※文字起こしは課題提示の途中で録音終了、Q&A 未収録。 ##### NEST: Network- and Memory-Aware Device Placement For Distributed Deep Learning / Irene Wang ら > [[2026__MLSys2026__NEST - Network- and Memory-Aware Device Placement for Distributed Deep Learning|詳細メモはこちら]]（登壇者: Irene Wang / Georgia Tech ※発表者は未確認。論文 PDF・スライドのみに基づく） - parallelism・memory・network topology を**同時に**考慮する device placement を構造化 dynamic programming（DP）で実現。SOTA ベースラインに対し最大 **2.43×** スループット向上。 - Insight 1: parallelism を Sub-Graph（TP/EP/SP/CP、層内）と Graph-Global（PP/DP/ZeRO）の直交2次元に分類。新戦略は graph+cost を与えるだけで DP アルゴリズム不変。 - Insight 2: backward 進行の "unknown producer problem" を、N² デバイスペアでなく 3–5 個の離散 communication level（Intra-node 900 / Intra-rack 100 / Inter-rack 12.5 GB/s）に抽象化して最適性を保持。 - Insight 3: メモリ feasibility を DP 内で追跡し infeasible state を pruning（推定誤差 実測比 平均 7% 以内）。ZeRO/recomputation を incremental ノブとして扱う。 - 評価: TPUv4 Fat-Tree（64–1024 デバイス）で平均 manual 比 1.59×・Alpa-E 比 2.43×、H100 oversubscribed Spine-Leaf（1024-GPU）で最大約 2.1×。最適化は 3 分〜1.5 時間で Alpa 比 90× 高速。Code: github.com/scai-tech/Nest。 ##### MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training / Wenxuan Li ら > [[2026__MLSys2026__MTraining - Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training|詳細メモはこちら]]（登壇者: Wenxuan Li / Microsoft Research ※発表者は未確認。論文 PDF・スライドのみに基づく） - RoPE 由来の attention は Vertical-Slash パターンを普遍的に持つ（Theorem 3.1）と理論・実測で示し、dynamic sparse attention で ultra-long context 学習を効率化。512K で attention は per-layer 計算の 99.0% を占める。 - 3要素 co-design: distributed sparse index approximating（VS 構造の online 近似、profiling を総遅延の 6% 未満に）、balanced sparse ring attention（ZigZag でなく Striped で worker/step 不均衡を緩和）、hierarchical sparse ring attention（inter-node 通信を intra-node 計算に重畳）。 - Qwen2.5-3B と Llama-3.1-8B を 32× A100（4×8 ノード、CP=32）で 32K/128K→512K に拡張。dense 比で最大 **6×** スループット、naïve sparse 比 2.6×、ZigZag 比 2.1×、階層なし比 1.3×、near-linear。 - workload balance: imbalance degree は worker/step とも約 1.0（dense 同等、ZigZag は >2.4）。階層設計で forward attention 時間を 42.7% 削減。 - 精度: RULER で MTraining+Dense が平均 63.22 と全ベースライン最良（dense 学習 60.21 を上回る）。NIAH/PG-19/InfiniteBench でも gap 最小。Code: github.com/microsoft/MInference/tree/main/mtraining。 ##### ProTrain: Efficient LLM Training via Automatic Memory Management / Hanmei Yang ら > [[2026__MLSys2026__ProTrain - Efficient LLM Training via Automatic Memory Management|詳細メモはこちら]]（登壇者: Hanmei Yang / UMass Amherst ※発表者は未確認。論文 PDF・スライドのみに基づく） - メモリ管理ポリシーをモデル/ハードウェアへ自動適応する LLM 学習システム。メモリ最適化を compute/memory/communication にまたがる結合的な協調問題と捉え、ZeRO sharding・offloading・gradient checkpointing・activation swapping を統一する。 - 複雑な戦略を 4 つのチューナブルパラメータ（n_persist, n_buffer, n_swap, n_ckpt）に抽象化し、`min T(config) s.t. M(config) ≤ GPU cap` をコストモデルと枝刈り探索で解く。学習アルゴリズムは不変で精度を損なわない。 - Structured Memory Strategies = model states 用 Hierarchical Chunk Management ＋ activations 用 Interleaved Block Management。Memory-Aware Profiler が intra-op transient と unhookable operators（10B GPT-2 で peak の 17.2%=3.06GB）を捕捉し推定誤差 4% 未満。 - 評価: 4×A100 で最大 87B を学習（DeepSpeed 比 2.35× 大）。スループットは SOTA 比 **1.43×〜2.71×**。プロファイル+探索オーバーヘッドは数秒〜0.06 秒。175B も 16×A100 マルチノードで検証。 - ハードウェア: 4×RTX 3090(24GB,PCIe3.0) と 4×A100(80GB,NVLink3.0)。ベースラインは DeepSpeed/Colossal-AI/FSDP。 ##### Efficient Long-context Language Model Training by Core Attention Disaggregation (DistCA) / Yonghao Zhuang ら > [[2026__MLSys2026__DistCA - Efficient Long-Context Language Model Training by Core Attention Disaggregation|詳細メモはこちら]]（登壇者: Yonghao Zhuang / CMU・UCSD ※発表者は未確認。論文 PDF・スライドのみに基づく） - 長コンテキスト訓練では core attention（CA）が $O(l^2)$・残りが $O(l)$ と複雑性が異なり、document packing で DP/PP グループ間に straggler が生じる。メモリ均等化と compute 均等化の同時達成が困難。 - 提案 **CAD** は CA が (1) divisible/composable（FlashAttention は 128-token 単位、異なる document の shard を融合 batch 可、shard≥128 で peak throughput）・(2) stateless（パラメータも保存 activation も不要、QKV 送信のみ）の 2 観察に基づき、CA を **attention server** プールへ分離・再バッチして均等化。 - システム **DistCA**: communication-aware greedy scheduler（priority $E=\Delta F_{max}/V_{comm}$、$O(NK)$・50〜300ms）、all2all で qkv/CA 出力を往復、**ping-pong 実行**で通信を計算に完全オーバーラップ、**in-place attention server** でメモリ維持。 - 評価: 512 H200 GPU（最大 64 ノード）・512K context、Llama-3-8B/34B、Pretrain/ProLong。**Megatron-LM 比最大 1.9×（3D）/1.83×（4D・8B）、WLB-ideal 比 1.35×、FlexSP+ 比 1.20×**。QKV split/merge は iteration の 0.42〜2.15%。 - 実装は約 2K 行 Python＋1K 行 CUDA/C++（NVSHMEM）で Megatron-LM に統合。Code: github.com/hao-ai-lab/DistCA。 > [!note] セッション構成について > 本セッションは "LLM Serving 2" と "LLM Training 1" の合同。LLM Serving 2 の発表順は公式セッションページ（session/3678）のタイムスロットに基づく。LLM Training 1 は音声文字起こしで確認できた BOOST（第1発表）と FCP（第2発表）以外、NEST / MTraining / ProTrain / DistCA の登壇順・正確な発表時刻・発表者個人は資料から特定できなかった（論文 PDF・スライドのみに基づき作成）。 #### Keynote: Amin Vahdat（SVP and Chief Technologist, AI & Infrastructure）(10:30 - 11:30) > [[2026__MLSys2026__Amin Vahdat Keynote - The Architecture of Intelligence|詳細メモ・Q&A はこちら]]（登壇者: Amin Vahdat / Google, SVP & Chief Technologist, AI & Infrastructure） - テーゼ: 産業革命との類比。蒸気機関が「筋力」を人間/動物の力から切り離して数百万倍に増幅したように、AI は「知能」を増幅する（mind multiplier）。効率化は総消費を減らさず逆に増やす（Jevons パラドックス、石炭 5x→需要激増、1865 年）。知能需要は飽くなきもの。 - 知能への道は大きなモデルだけでなく**計算スタックの根本的再アーキテクチャ**を要する。需要は年率 10x、スケーリング効率を「毎年 4x、5 年で 1000x」加速する必要があり、Moore's law 等は鈍化。Sutton "Bitter Lesson"。 - ハードは**専門化の第 2 の波**（ネットワークスイッチに次ぐ、CPU 比 100x〜1000x）。TPU の歩み（v1 → 256 pod → 256/1k/4k/8.9k+ 接続 → 第 8 世代で**学習用 v8T／推論用 v8I** の 2 チップ）、~10MW 級スーパーコンピュータ。 - ネットワークが全スケールの鍵: chip〜rack〜建屋〜惑星〜宇宙。v8I の **board fly トポロジ**（直径 1/2）、**OCS（光回線交換）**で故障時もトポロジ即再構成、**ICI** を計算に統合し最大 9,600 TPU で 2PB 共有メモリ帯域、**Jupiter** は 47 Pbps bisection（~100 万 TPU/GPU 非ブロッキング）、**B4** WAN、投機的な宇宙 "space factory"（太陽光 ~5x 効率）。 - ソフトは単一ワークロードのベンチでなく**フリート全体の goodput** が指標（Borg、**GX = Google Accelerator Units** のクレジット経済、近刊 OSDI 論文）。Google の第一義指標は performance per division Watt／per carbon。技術者は移行の "messy middle" を導く責任を負う。 #### Fireside Chat (11:30) #### Research Track Oral: LLM Serving 3 & ML for Systems (13:30) > [!note] セッション構成について > 本セッションは "LLM Serving 3"（6 トーク、13:30–15:00 PDT）と "ML for Systems"（6 トーク）の合同セッション。LLM Serving 3 の発表順は公式セッションページ（session/3687）のタイムスロットに基づく。ML for Systems 側は音声文字起こしで発表順を確認できたのは FlashInfer-Bench（第1）→ Virtual Machine NUMA Placement（第2）→ When Machine Learning Isn't Sure（第3）→ Practical Adversarial Multi-Armed Bandits（第4）の 4 件。残る Automated Algorithm Design / Unified LLM Model for PPA は文字起こし対象外で登壇順・正確な発表時刻・発表者個人を特定できなかった（論文 PDF・スライドのみに基づき作成し末尾に配置）。 ##### SkipKV: Selective Skipping of KV Generation and Storage for Efficient Inference with Large Reasoning Models / Jiayi Tian （LLM Serving 3 / 13:30 - 13:45） > [[2026__MLSys2026__SkipKV Selective Skipping of KV Generation and Storage for Efficient Inference with Large Reasoning Models|詳細メモはこちら]]（登壇者: Jiayi Tian / UC Santa Barbara・Intel Labs） - 大規模推論モデル（LRM）の冗長な CoT 推論による KV キャッシュ膨張を、学習不要の文レベルスキップで圧縮する SkipKV を提案。文スコアリング・適応ステアリング・バッチグルーピングの 3 コンポーネント構成。 - 既存トークン単位エビクション手法がマルチバッチで精度崩壊する原因（パディングによる実効予算低下・アテンション分布歪み）を特定し、文単位操作で回避。 - 同等圧縮予算で既存手法比最大 **26.7%** の精度向上。KV メモリを **6.7 倍**削減しつつ FullKV 精度を維持（R1-Qwen-14B, AIME-24）。 - ステアリングベクトルにより生成長を FullKV 比最大 **28%** 削減、SoTA 比 **1.5〜2 倍**短縮。スループットは最大 **1.7 倍**向上。 - Code: github.com/TTTTTTris/SkipKV。vLLM 統合済み。 ##### OPKV: A High-Throughput Plugin-Driven Framework for Recallable Sparsity in Paged KV Cache Systems / Huazheng Lao （LLM Serving 3 / 13:45 - 14:00） > [[2026__MLSys2026__OPKV A High-Throughput Plugin-Driven Framework for Recallable Sparsity in Paged KV Cache Systems|詳細メモはこちら]]（登壇者: Huazheng Lao / Southeast University） - ページド KV キャッシュシステムにリコーラブルスパーシティを高スループットで統合するプラグイン駆動フレームワーク OPKV。モデル・スパーシティ・キャッシュの 3 層分離設計。 - トークンレベル KV 選択とページレベルメモリ管理の粒度不一致による I/O 増幅（約 4 倍）を、オブジェクト再集約（OP ブロック）とホットページヒットで解消。 - バッチ増大時のリコールオーバーヘッド線形増加を、Sub Block Manager によるイテレーション内メタデータ管理で抑制。 - SoTA 手法（InfiniGen, OmniKV）のデコーディングスループットを **1.3〜1.8 倍**に向上。vLLM v0.7.2 上に約 7,000 行で実装。 - S3FIFO エビクションポリシーが最良性能。プラグインインタフェースにより新規スパーシティアルゴリズムの統合が容易。 ##### FlexiCache: Leveraging Temporal Stability of Attention Heads for Efficient KV Cache Management / Nazmul Takbir （LLM Serving 3 / 14:00 - 14:15） > [[2026__MLSys2026__FlexiCache Leveraging Temporal Stability of Attention Heads for Efficient KV Cache Management|詳細メモはこちら]]（登壇者: Nazmul Takbir / University of California, Irvine） - KV ヘッドの時間的安定性がヘッドごとに大きく異なるという観察に基づき、不安定ヘッド（下位 25%）は GPU 保持・毎ステップリランキング、安定ヘッドは Top-K ページのみ GPU 保持・残りをホストオフロードする階層的管理。 - GPU メモリフットプリントを長コンテキストリクエストで最大 **70%** 削減。オフラインスループット **1.38〜1.55 倍**、オンライン TPOT 最大 **2.1 倍**低減。 - KV ページを永続破棄しないため、長文生成でトークン重要度が変化しても精度保持率 99% 以上を維持（LongBench, L-Eval）。 - ヘッド分類はモデル固有・タスク非依存（タスク間重複率 0.76–0.83）で、1 回のオフラインプロファイリングで完了。 - vLLM 上に構築。Triton Flash-Decoding カーネル改修、カスタム CUDA カーネルによる UVA 転送。 ##### MAC-Attention: a Match–Amend–Complete scheme for fast and accurate attention computation / Jinghan Yao （LLM Serving 3 / 14:15 - 14:30） > [[2026__MLSys2026__MAC-Attention a Match-Amend-Complete scheme for fast and accurate attention computation|詳細メモはこちら]]（登壇者: Jinghan Yao / The Ohio State University） - 長コンテキストデコーディングの IO ボトルネックに対し、意味的に類似した直近クエリの過去アテンション計算を再利用する MAC-Attention を提案。圧縮も選択も行わずフルアテンション品質を維持。 - 3 段パイプライン: Match（プレ RoPE L2 近傍探索）→ Amend（ハイマスバンド修正）→ Complete（テールアテンション + log-domain マージ）。マッチヒット時の計算量はコンテキスト長に対して定数。 - KV キャッシュアクセスを最大 **99%** 削減、アテンションフェーズ高速化 **14.3 倍以上**（最大約 46 倍）、エンドツーエンド高速化最大 **2.6 倍**。 - MoE モデル（Qwen3-30B-A3B）でも hit rate 99.5%、skip rate 98.9% でフルアテンション同等精度。 - Code: github.com/YJHMITWEB/MAC-Attention。FlashInfer/paged-KV/GQA と合成可能。 ##### Using Span Queries to Optimize Cache and Attention Locality / Paul Castro （LLM Serving 3 / 14:30 - 14:45） > [[2026__MLSys2026__Using Span Queries to Optimize Cache and Attention Locality|詳細メモはこちら]]（登壇者: Paul Castro / IBM Research） - チャット・RAG・推論時スケーリング・エージェント的ワークロードを「スパンクエリ」（式木＋可換性制約）として統一的に表現し、KV キャッシュ局所性とアテンション局所性を自動最適化するフレームワーク。 - vLLM への変更はわずか **492 行**。RAG で TTFT **10 倍以上**、ネスト生成で最大 **16 倍**の高速化を達成。 - アテンション最適化（分割統治トーナメント構造）により Lost-in-the-Middle 問題を回避し、2B モデルが 8B モデルを精度で大幅に上回ることを実証。 - CIDRA アルゴリズムにより複数リクエスト間の KV ブロック再配置を安全にインプレースで並行実行（最大約 500 トークン/ms）。 - 可換性という代数的性質に着目し、推論ワークロード横断の統一的最適化基盤を提示。 ##### Kitty: Accurate and Efficient 2-bit KV Cache Quantization with Dynamic Channel-wise Precision Boost / Haojun Xia （LLM Serving 3 / 14:45 - 15:00） > [[2026__MLSys2026__Kitty Accurate and Efficient 2-bit KV Cache Quantization with Dynamic Channel-wise Precision Boost|詳細メモはこちら]]（登壇者: Haojun Xia / University of Sydney・Together AI） - Key キャッシュの感度がチャネルごとに大きく異なるという観察に基づき、大部分を INT2・少数の高感度チャネルのみ INT4 に動的昇格する混合精度 KV キャッシュ量子化 Kitty を提案。 - KV メモリを約 **8 倍**削減しつつ精度低下ほぼゼロ。同一メモリ予算で最大 **8 倍**のバッチサイズと **2.1〜4.1 倍**のスループット向上。 - ページ中心メモリレイアウト（密・疎分解）と Triton GPU カーネルにより、混合精度ページを統一的 2 ビット精度の 2 テンソルとして効率処理。実行時オーバーヘッド **0.17%**。 - 長コンテキスト（32K）でも実効ビット幅 2.44 bit で FP16 に近い精度を維持。Qwen3・LLaMA3 の 2 モデルファミリ・7 タスクで検証。 - Code: github.com/Summer-Summer/Kitty。 ##### FlashInfer-Bench: Building the Virtuous Cycle for AI-driven LLM Systems / Shanli Xing （ML for Systems） > [[2026__MLSys2026__FlashInfer-Bench - Building the Virtuous Cycle for AI-driven LLM Systems|詳細メモ・Q&A はこちら]]（登壇者: Shanli Xing / University of Washington） - テーゼ: LLM エージェントが生成する GPU カーネルを本番推論エンジンへ回す「好循環（virtuous cycle）」を作る。生成→ベンチマーク→デプロイを閉じる標準フレームワークが FlashInfer-Bench。 - 中核 FlashInfer Trace（Definition/Workload/Solution/Evaluation の 4 スキーマ）で人間・エージェント・コンパイラ非依存にカーネルを記述。実サービングトレースから 79 definitions / 2,474 workloads のデータセットを構築。 - ベンチマークは決定的/低精度/確率的カーネルを正当性検証し、sandbox 分離で reward hacking を防止。`flashinfer_bench.apply()` が SGLang/vLLM へゼロコード変更で最良カーネルを動的注入（E2E オーバーヘッド 0.8% 未満）。 - B200 評価の知見: 正当性エラーの大半はコンパイル失敗（32 中 30）、モデルは tcgen05 等の HW intrinsics を活用できず、Triton は高正当性・CUDA は高ピーク性能の言語トレードオフ。エージェントは cuBLAS 呼び出しを学習し GEMM で対 PyTorch 116×（平均 26×）。 - 正当性率は gpt-5 83.9% / o3 71.3% / gemini-2.5-pro 48.8%。GQA Ragged・MLA・MoE は FlashInfer ベースラインの 0.4× 未満で tiling/pipelining 不足が課題。限界は multi-GPU/通信カーネル未対応。 ##### Virtual Machine NUMA Placement at Scale: Learning the Norm, Shielding the Tail / Yibo Zhao （ML for Systems） > [[2026__MLSys2026__Virtual Machine NUMA Placement at Scale - Learning the Norm, Shielding the Tail|詳細メモ・Q&A はこちら]]（登壇者: Yibo Zhao / Northeastern University、Microsoft 協業） - テーゼ「learn the norm and shield the tail」。NUMA placement の不適切さは最大 30% 超の性能劣化を生むが、VM の多様性・日次 drift・tail 問題のため大規模最適配置は困難。システム名は Catur。 - 平均性能は RL（POMDP/DQN）で学習。既存ヒューリスティックを抽象化した 4 つの primitive（CoreBestFit 等、配置の 98.5% をカバー）を行動空間にして model collapse を防ぎ、load-aware reward shaping で skew した hard case から学ぶ。 - tail は speculative shielding で遮蔽。NUMA-state transition tree を 1-3 step 先まで木探索し、性能異常（COR+RMR>40%）に至る action を回避。correctable anomaly を baseline の 222K-383K から約 17K へ 13-23x 削減。 - 1 億超 VM の production trace で評価。average resource defect を baseline 比 34.2%-50.0% 削減（Catur 0.73% vs 1.11-1.46%）、ticket ratio も約 30-48% 削減。drift には 11 iteration で適応し再訓練コスト 93.9% 削減。 - takeaway: 学習ベース意思決定を実クラウドへ deploy する blueprint。CloudX に early trial で deploy 済み。RL は約 1ms で critical path に乗り、speculative shielding/Oracle は offline 限定。 ##### When Machine Learning Isn't Sure: Building Resilient ML-Based Computer Systems by Embracing Uncertainty / Varun Gohil （ML for Systems） > [[2026__MLSys2026__When Machine Learning Isn't Sure - Building Resilient ML-Based Computer Systems by Embracing Uncertainty|詳細メモ・Q&A はこちら]]（登壇者: Varun Gohil / MIT CSAIL, advised by Christina Delimitrou。共著: MIT 4 名 + Google 4 名（Sundar Dev・Gaurang Upasani・David Lo・Parthasarathy Ranganathan）） - テーゼ: ML model は poor generalizability ゆえ OOD データで mispredict し、誤予測がシステムに伝播して bad decision を生む。**accuracy は proactive に測れないため、測定可能な uncertainty を generalizability の proxy** として使い、`uncertainty > threshold` のとき ML 予測を棄却して伝統的 heuristic（human / non-ML）に graceful に fall back する。 - uncertainty estimator を 3 種に分類しトレードオフ整理（Table 3）: **Bayesian**（efficacy 高・latency ms–secs・model-agnostic 不可・unit-consistent）、**Conformal Prediction**（efficacy 高・latency ms・model-agnostic 可・calibration data 必要）、**Distance-based**（efficacy 低中・latency μs・bytes メモリ）。唯一最適な estimator は無い。 - ケーススタディ Sinan（DeathStarBench social network を 7-node にデプロイ、user>150 で OOD）: 素の Sinan は OOD で QoS violation が 450 users で 22% 超に急増。**fixed model architecture 制約があるため model-agnostic な conformal prediction が最適**で QoS violation を削減（CNN→BNN+Bayesian は最良だが architecture 変更が必要で不可）。conformal は ML 予測と同単位（ms）で unit-consistent、threshold は 15% relative uncertainty（約 10ms）。 - 3 ケースの俯瞰: Server Provisioning（latency ~hours・制約なし）→ **Bayesian**、Microservice Mgmt（~ms・fixed arch）→ **Conformal**、Storage I/O Routing（~μs・fixed arch、Heimdall ベース、distance 推定 7μs vs BNN 238μs）→ **Distance-based**。最適 estimator はタスクの runtime budget と design 制約に依存。 - Takeaway: (1) poor generalizability が "ML for Systems" を unreliable にする、(2) uncertainty を generalizability の proxy に proactive 利用、(3) estimator 特性をタスクの runtime・design 制約と align させる。Q&A: 本手法は model retraining/adaptation と orthogonal（estimator も同様に再 calibration する）。 ##### Practical Adversarial Multi-Armed Bandits with Sublinear Runtime / Kasper Overgaard Mortensen （ML for Systems） > [[2026__MLSys2026__Practical Adversarial Multi-Armed Bandits with Sublinear Runtime|詳細メモ・Q&A はこちら]]（登壇者: Kasper Overgaard Mortensen / Aarhus University） - 非定常な敵対的 combinatorial MAB を「結果品質より runtime」の観点で扱い、arm 数 k に sublinear なアルゴリズムを目指す。動機は database index tuning で既存 bandit（DBABandit/HMAB）が非定常ワークロードで「何もしない」より遅くなる極端ケース。 - Exp3 を効率化: sum-heap サンプリング＋log scale weight（数値安定）で per-step $\mathcal{O}(\log k)$ 化（「実は 10 年前に解かれていた忘れられた folklore」を end-to-end 実用化）。combinatorial 版 Exp3.M を $\mathcal{O}(k \log m)$ → $\mathcal{O}(m \log k)$ に改善。 - 提案 **QBL（Queuing Behind the Leader）**: Exp3 の single-weight 更新と follow-the-leader を融合し、選んだ arm だけ更新。leader が改善し続ける間は update を skip、悪化/良すぎたら priority queue で demote（ランダム化付き、高々 k 回で必ず置換）。計算量 $\mathcal{O}(m \log k)$、調整パラメータは $\gamma$ の 1 つのみ。 - 実験: index tuning（TPC-H 10/50GB）で QBL.M は index 再生成を回避し index 利用率 ≈60%（DBABandit 50% / HMAB 39%）。模擬非定常環境（Mod2 / Stochastic constrained / Tent map）で dynamic regret・runtime とも高 k で優位。コード github.com/AU-DIS/QBL。 - regret 保証は未解決（preliminary step）。シンプルで scalable な adversarial bandit baseline と controlled regret への一歩。 ##### Automated Algorithm Design for Auto-Tuning Optimizers / Floris-Jan Willemsen ら （ML for Systems） > [[2026__MLSys2026__Automated Algorithm Design for Auto-Tuning Optimizers|詳細メモはこちら]]（登壇者: Floris-Jan Willemsen / LIACS, Leiden University ※発表者は未確認。論文 PDF・スライドのみに基づく） - テーゼ: auto-tuning の最適化アルゴリズムを人手設計せず、**LLM に自動生成・進化させる**初の閉ループ・メタ最適化フレームワーク。Kernel Tuner（auto-tuner）× LLaMEA（LLM 進化アルゴリズム）を統合し、LLM はアルゴリズムのロジックのみ生成（カーネル/データ/精度には不干渉）。 - 動機: HW 寿命は短く（スパコン平均 5.2 年・GPU アーキ 1.96 年）アプリは長寿命（平均 30.2 年）。auto-tuning 探索空間は large・discontinuous・irregular で良構成が稀。「なぜ auto-tuning 専用 optimizer が無いのか」という research gap に対し設計を自動化。 - 手法: EA メタ戦略（parent 4 + offspring 12/世代、mutation 12 種）で候補 optimizer を生成、Kernel Tuner 上の性能スコア（ランダム探索比の性能-時間曲線下面積）で評価・淘汰。GPT o4-mini 使用、100 LLM calls/run × 5 run（計 4000 calls）、約 25% は失敗するが進化で淘汰。 - 評価: BAT の 4 カーネル（dedispersion/convolution/hotspot/GEMM）× 6 GPU = 24 探索空間（train 12 / test 12）。探索空間情報の追加で平均 **+14.6%**（dedispersion/GEMM で顕著）、ターゲット特化で平均 **+30.7%**。best 2 つ（HybridVNDX, AdaptiveTabuGreyWolf）は人手設計（Kernel Tuner GA/SA, pyATF DE）を平均 **72.4%** 上回る（GA 比 +0.126・SA 比 +0.282・DE 比 +0.274）。 - Takeaway: LLM 生成 optimizer は人手設計に匹敵・凌駕し、未学習の GPU/アプリへも汎化。best は `pip install kernel-tuner` に取込済み、LLaMEA は `pip install llamea`、実装は BLADE suite。Code: github.com/XAI-liacs/BLADE。 ##### Unified LLM Model for Power, Performance, and Area Prediction from Hardware Code / Armin Abdollahi （ML for Systems） > [[2026__MLSys2026__Unified LLM Model for Power, Performance, and Area Prediction from Hardware Code|詳細メモはこちら]]（登壇者: Armin Abdollahi / USC ※発表者は未確認、論文・スライドのみに基づく） - RTL（Verilog）から合成を走らせず PPA（area / delay / total power / static power）を予測する統一 condition-aware モデル **RocketPPA**。PPA は RTL 単体の性質でなく technology node（15nm/45nm）× optimization（area/delay）の 4 regime で変わるため、条件トークンで 1 モデルが全 regime を扱う。 - 構成は LLaMA-3.1-8B-Instruct エンコーダ + LoRA（約 8.4M 学習パラメータ、≈0.11%）+ MoE 回帰ヘッド（N=6 experts, top-3 gating, +4.7M、推論時 ≈2.35M active）。area/delay/power に別ヘッド。 - 設計空間を構造化する contrastive learning を学習時のみ追加（cross-condition / PPA-similarity / structural の 3 positive-pair 戦略、λ=0.5）。projection head は推論時に破棄し deployment コストはゼロ。 - VerilogEval（138 codes、特に Level-3 の 72 hardest）で評価。10% 許容誤差で MetRex 比 Area **+13.6pp** / Delay **+9.4pp** / Static Power **+14.7pp**。推論は **0.12 秒/設計**で CircuitFusion/MetRex 比 20× 超・MasterRTL 比 30× 超高速。 - LLM-driven repair で 20,953 合成可能モジュール（MG-Verilog/verilog_github/VeriGen）を curate。Leave-One-Regime-Out 劣化は最大約 2.5pp、cross-node few-shot（15nm 5%/10% calibration）で 4.2pp/2.7pp 劣化に留まり実用適応可能。Ablation で contrastive が精度に +2.5pp 寄与。 #### Research Track Oral: LLM Serving 4 & LLM Training 2 (15:15) > [!note] セッション構成について > 本セッションは "LLM Serving 4"（6 トーク、15:15–16:45 PDT、Grand Ballroom 1）と "LLM Training 2"（6 トーク、15:15–16:45 PDT、Grand Ballroom 2、Moderator: Mohamed Abdelfattah）の並行セッション。以下はまず LLM Serving 4 の 6 件、続いて LLM Training 2 の 6 件を記載する。LLM Serving 4 の発表順は公式セッションページ（session/3691）、LLM Training 2 は session/3692 のタイムスロットに基づく。出典は各トークの**論文 PDF + スライド PDF**（文字起こしは無いため Q&A 無し）。 ##### RaidServe: High-performance Resilient Serving / Ziyi Xu ら（15:15 - 15:30） > [[2026__MLSys2026__RaidServe High-performance Resilient Serving|詳細メモはこちら]]（登壇者: Ziyi Xu / Shanghai Jiao Tong University、Zhiqiang Xie・Swapnil Gandhi・Christos Kozyrakis / Stanford University） - テーゼ: テンソル並列 LLM サービングにおいて GPU 障害時のメモリ・計算不均衡と復旧コストを、巡回 KVCache 配置・ハイブリッドアテンション・負荷認識ルーティングで解消する耐障害システム。 - 標準的な障害対応手法比で最大 **2 倍**のスループットおよび **2 桁低い**復旧レイテンシ（再計算 22 秒 → RaidServe 120 ms）を達成。 - 最大 3 基の GPU 障害下でも高スループットと均衡した利用率を維持。8 基 H100 DGX で評価。 - プロアクティブ KVCache バックアップとオンデマンド重み復元により、高コストな再計算と冗長転送を回避。 - オフラインスループットは Standard TP 比 1.28–1.71 倍、オンラインでは最大 2 倍改善。 ##### fabric-lib: RDMA Point-to-Point Communication for LLM Systems / Nandor Licker ら（15:30 - 15:45） > [[2026__MLSys2026__fabric-lib RDMA Point-to-Point Communication for LLM Systems|詳細メモはこちら]]（登壇者: Nandor Licker・Kevin Hu・Vladimir Zaytsev・Lequn Chen / Perplexity AI） - テーゼ: RDMA トランスポートの「信頼性あり・順序なし」の共通部分を抽出し、IMMCOUNTER プリミティブで順序非依存の完了通知を実現する可搬な P2P 通信ライブラリ。 - ConnectX-7 と AWS EFA の双方で **400 Gbps** ピーク帯域を達成しベンダロックインを回避。 - 3 本番ユースケース: (1) 分離型推論向け KvCache 転送（動的スケーリング対応）、(2) 1 兆パラメータ RL 重み更新 **1.2 秒**、(3) MoE ディスパッチ/コンバイン（EFA 上初の実用的実装）。 - コレクティブ通信の 4 制約（固定メンバシップ・同期初期化・操作順序・形状均一性）を P2P で解消。 - Rust 実装、OSS: https://github.com/perplexityai/pplx-garden/ ##### Demystifying the Mixture of Experts Serving Tax / Pratyush Patel ら（15:45 - 16:00） > [[2026__MLSys2026__Demystifying the Mixture of Experts Serving Tax|詳細メモはこちら]]（登壇者: Pratyush Patel / UW・Meta、Dayeol Lee・Shintaro Iwasaki / Meta、Arvind Krishnamurthy / UW） - テーゼ: MoE モデルは FLOP 等価な密モデルに対して **2–3 倍**の性能劣化（MoE タックス）を被る。単一のペナルティではなく、演算密度低下・通信・パディング・ウェイト増幅・不均衡・活性化効果の複合体。 - プリフィルとデコードでタックスの支配要因が根本的に異なる（プリフィル: バッチ分割による演算密度低下、デコード: ウェイト増幅）。 - 反直観的知見: プリフィルに有害な負荷不均衡がデコードでは有益（活性化エキスパート数が減りウェイトロード削減）。 - Balls-Bins-Buckets フレームワークで、細粒度エキスパートや DP アテンション等の近年の MoE 設計を横断分析。 - 分析モデルは実測値の 10–30% 以内で予測し、メモリ律速・計算律速・遷移の 3 レジームを同定。 ##### FarSkip-Collective: Unhobbling Blocking Communication in Mixture of Experts Models / Yonatan Dukler ら（16:00 - 16:15） > [[2026__MLSys2026__FarSkip-Collective Unhobbling Blocking Communication in Mixture of Experts Models|詳細メモはこちら]]（登壇者: Yonatan Dukler ら / AMD） - テーゼ: MoE のブロッキング通信（Expert Parallelism の all-to-all）を、アーキテクチャレベルの残差接続の依存関係修正により計算と完全にオーバーラップさせる。 - 自己蒸留レシピ FCSD により 16B–109B の MoE を FarSkip モデルへ変換。DeepSeek-V2-Lite 96%、Qwen-3 97%、Llama 4 Scout 99% の精度維持。 - 推論: プリフィル TTFT 最大 **32.6%** 高速化、通信オーバーラップ **97.3%**（SGLang 上 DeepSeek-V3 アーキテクチャ）。 - 訓練: Megatron-LM 上で all-to-all 通信の **88.4%** をオーバーラップ。 - Code: https://github.com/AMD-AGI/FarSkip-Collective ##### GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving / Shakya Jayakody ら（16:15 - 16:30） > [[2026__MLSys2026__GhostServe A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving|詳細メモはこちら]]（登壇者: Shakya Jayakody ら / University of Central Florida, CASS Lab） - テーゼ: 消失訂正符号（erasure coding）を KV キャッシュのストリーミングデータに適用し、パリティシャードのみをホストメモリに保持する軽量チェックポイント方式で耐障害 LLM サービングを実現。 - 単一バッチでチェックポイントレイテンシ最大 **2.7 倍**、リカバリレイテンシ **2.1 倍**削減。オンラインサービングで中央値応答レイテンシ **1.2 倍**改善。 - 百万トークンスケーリングにも対応。エンコーディング 5.7 倍・再構築 4.9 倍高速化（スライド準拠）。 - GPU メモリ消費ゼロ（パリティはホスト保持）、プリフィルレイテンシオーバーヘッド最大 11 倍削減。 - Code: https://github.com/project-ghostserve/26mlsys-AE-GhostServe ##### CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving / Adrian Zhao ら（16:30 - 16:45） > [[2026__MLSys2026__CRAFT Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving|詳細メモはこちら]]（登壇者: Adrian Zhao / Amazon・University of Toronto ほか全員 Amazon） - テーゼ: エキスパートレプリケーションの利得はレイヤごとに大きく異なり劣線形にスケールする。EPLB の約 **7 分の 1** のレプリカで同等以上の負荷均衡を実現するレイヤ単位細粒度レプリケーション。 - 平均 **1.15 倍**（最大 **1.2 倍**）のグッドプット向上。節約したメモリを KV キャッシュに充て実効バッチサイズを拡大（KV キャッシュ縮小 6% vs EPLB 19–75%）。 - 3 ステップ: レイヤごと利得推定 → レプリケーションファクタ決定 → MCKP による最適割当 + キャパシティ認識配置。 - モデル再訓練不要でドロップイン統合可能。DeepSeek-R1-671B・Kimi-K2-1000B で評価。 - ワークロードシフト耐性・オンラインリバランス対応を実証。GraceMoE 等の手法と直交的に併用可能。 ##### ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems / Qiaoling Chen ら（LLM Training 2 / 15:15 - 15:30） > [[2026__MLSys2026__ReSpec Towards Optimizing Speculative Decoding in Reinforcement Learning Systems|詳細メモはこちら]]（登壇者: Qiaoling Chen ら） - RL 学習の生成段階（壁時計時間の 75% 超）に投機的復号を適応させるシステム ReSpec を提案し、素朴な SD 統合が招く 3 つのギャップ（大バッチでの逓減・ドラフト陳腐化・方策劣化）を体系的に特定した。 - Adaptive Server（実効バッチサイズに応じた SD 構成の動的切替）と Online Learner（報酬重み付き知識蒸留 + 非同期更新オーバーラップ）の 2 コンポーネントで 3 ギャップに対処する。 - Qwen2.5（3B–14B）+ GRPO で最大 4.53 倍・平均 1.50–1.84 倍のエンドツーエンド学習高速化を達成し、非加速ベースラインと同等のバリデーションスコアを維持する。 - EAGLE-3 の素朴な適用がステップ 100–400 で報酬崩壊を起こすのに対し、ReSpec は全スケールで安定的に報酬が上昇し続ける。 - RL 学習における投機的復号は「適用すれば速くなる」単純な問題ではなく、方策の非定常性とバッチサイズの動的変動に適応するシステム設計が不可欠であることを実証した。 ##### HetRL: Efficient Reinforcement Learning for LLMs in Heterogeneous Environments / Yongjun He ら（LLM Training 2 / 15:30 - 15:45） > [[2026__MLSys2026__HetRL Efficient Reinforcement Learning for LLMs in Heterogeneous Environments|詳細メモはこちら]]（登壇者: Yongjun He ら） - ヘテロジニアス GPU・ネットワーク環境で LLM の RL 訓練を効率化する分散システム HetRL を提案する。 - RL スケジューリングを制約付き結合最適化として定式化し、SHA+EA ハイブリッド探索と ILP ベース厳密解の 2 アルゴリズムを提供する。 - 64 GPU（A100/L40S/L4 混在）・4 シナリオの評価で SoTA 対比最大 9.17 倍・平均 3.17 倍のスループットを達成する。 - ヘテロジニアス GPU 混在でもステップ単位の学習品質は同質構成と同等であり、実時間収束は 1.09〜1.77 倍速い。 - 単一 AZ の同質ハイエンド GPU 依存を脱し、地理分散ヘテロジニアス資源を RL ポストトレーニングに動員できることを実証した。 ##### Pylo: Towards Accessible Learned Optimizers in PyTorch / Paul Janson ら（LLM Training 2 / 15:45 - 16:00） > [[2026__MLSys2026__Pylo Towards Accessible Learned Optimizers in PyTorch|詳細メモはこちら]]（登壇者: Paul Janson ら） - 学習型最適化器（VeLO 等）は JAX 依存・計算オーバーヘッド・重み共有標準不在の 4 障壁により実用普及が阻まれていた。 - PyLO は `torch.optim.Optimizer` 準拠の PyTorch ライブラリとして、HuggingFace Hub 統合・融合 CUDA カーネル（2 パス設計で特徴量構築/正規化/MLP 推論を融合）を提供する。 - 融合カーネルにより LO ステップ時間をナイーブ実装比 86–88% 削減し、JAX 実装比 2 倍以上高速化。1B パラメータモデルも単一 80 GB A100 で動作する（JAX 実装は OOM）。 - VeLO は ImageNet-1K で Top-1 78.39%（チューニング済み Adam 77.22% を上回る）、GPT-2 355M 事前学習で損失 2.89（Adam 2.91）を達成。分散ステップで Adam 比オーバーヘッドは 9–13% に圧縮される。 - 学習型最適化器を「研究成果」から「実用ツール」に転換するシステム基盤であり、スケジュール/重み減衰との容易な合成が LO 性能を更に引き上げることを実証した。 ##### Learning from Less: Measuring the Effectiveness of RLVR in Low Data and Compute Regimes / Justin Bauer ら（LLM Training 2 / 16:00 - 16:15） > [[2026__MLSys2026__Learning from Less Measuring the Effectiveness of RLVR in Low Data and Compute Regimes|詳細メモはこちら]]（登壇者: Justin Bauer ら） - RLVR の低データ・低計算レジームにおけるデータ構成（サイズ・難易度分布）の影響を体系的に実証した。 - Qwen3-4B + LoRA/GRPO で 3 種の手続き的データセット（カウント・グラフ推論・空間推論）を 18 構成ファインチューニングし、難易度混合と Easy のみを比較。 - 混合難易度 100 例が Easy のみ 500 例と同等精度を達成し、最大 5 倍のサンプル効率を実証（カウント: Mixed-100 = 44.2% vs Easy-500 = 44.2%）。 - 固定ステップ予算下ではデータ増量が逆効果となりうること、グラフ推論ではトークン上限（補完の 59–73% が上限到達）がデータより先にボトルネックとなることを特定。 - 低資源 RLVR ではデータ量よりデータ構成の多様性を優先すべきであり、データサイズ・学習ステップ数・トークン上限の同時最適化が不可欠である。 ##### FlexTrain: Scalable Hybrid-Parallel Training with Elastic Resource Utilization and Consistent Accuracy / Weilin Cai ら（LLM Training 2 / 16:15 - 16:30） > [[2026__MLSys2026__FlexTrain Scalable Hybrid-Parallel Training with Elastic Resource Utilization and Consistent Accuracy|詳細メモはこちら]]（登壇者: Weilin Cai ら） - FlexTrain は PP 次数の動的調整を軸にしたエラスティック LLM 学習システムであり、ビット単位の精度一貫性と高いリソース活用を両立する。 - PP 実行を DAG に抽象化しオンラインプロファイリングで最適スケジュールを探索、No-Op 層挿入で任意 PP 次数をサポートし、ポアソン過程ベースの利益予測でスケーリング判断を行う。 - PP スケーリングのみで JCT を 1.55〜1.73 倍削減しつつビット単位で同一の損失値を維持、DP+PP 併用時は最大 2.27 倍の高速化を達成。 - ポアソンベース利益予測により非エラスティックジョブの待機時間増加を 50〜100% 緩和し、ElasticFlow 比で待機時間の悪化を 10〜65% 抑制。 - PP 優先スケーリング・オンラインプロファイリング・利益認識スケジューリングの三本柱で、既存エラスティック学習の本番未導入要因（精度不一致・過大プロファイリング・リソース柔軟性不足）を体系的に解消。 ##### Beat the long tail: Distribution-Aware Speculative Decoding for RL Training / Zelei Shao ら（LLM Training 2 / 16:30 - 16:45） > [[2026__MLSys2026__Beat the long tail Distribution-Aware Speculative Decoding for RL Training|詳細メモはこちら]]（登壇者: Zelei Shao ら） - RL ポストトレーニングのロールアウト長ロングテール分布がウォールクロック時間を支配するストラグラ問題に対処する。 - 過去ロールアウトからインクリメンタルに構築するサフィックスツリー・ドラフタ、問題難易度に応じた投機バジェット配分、長さ認識型 GPU スケジューリングの 3 要素を統合した DAS フレームワークを提案。 - Qwen3 8B・DeepSeek-R1-Distill-Qwen-7B の数学・コードワークロードでロールアウト時間を最大 50% 削減し、報酬曲線は VERL ベースラインと完全一致。 - サフィックスツリーの平均受理トークン数は 3–4 で EAGLE 3（2–2.5）を上回り、スライディングウィンドウで学習中のモデル分布変化に追従する。 - RL 学習固有の「時間的反復性」を活用した投機的デコーディングという新たな最適化軸を示し、精度劣化なしの高速化を実現した。 #### Research Track Oral: LLM Training 3 & Model Compression (17:00) ##### Zorse: Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters / Runsheng (Benson) Guo （第1発表） > [[2026__MLSys2026__Zorse - Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters|詳細メモ・Q&A はこちら]]（登壇者: Runsheng (Benson) Guo / University of Waterloo。共著: Utkarsh Anand, Khuzaima Daudjee [Waterloo], Rathijit Sen [Microsoft GSL]） - テーゼ: 段階取得で生じる異世代・異ネットワーク帯域の heterogeneous GPU クラスタで、PP と DP の trade-off を解消し効率的に LLM を訓練する PyTorch FSDP ベースのシステム Zorse。 - **Pipeline-Efficient ZeRO DP**: モデルを多数の ministage に分割・interleave し、一度に 2 ministage のみ GPU 保持・残りは CPU offload。AllGather を層あたり 1 回に削減し memory 効率と通信効率を両立。 - **Heterogeneous Pipeline Parallelism + 2 フェーズ planner**: ステージ間 GPU 数・ステージ内 GPU 種別の非対称化を許容。Phase1 で min-$k$-cut 近似（帯域最小分割）、Phase2 で ministage/micro-batch 構成を列挙し 3 分以内に最適構成決定（latency/memory モデル誤差 10% 以内）。 - 主要結果: Llama 7B–65B・3 クラスタ（最大 128 GPU）で SOTA（TorchTitan-Het / HexiScale / Cephalo）比**最大 3× 高速**。ベースラインが OOM する構成でも訓練可。ministage 数で memory−40%・throughput−20% に tune 可（offload overhead 3% 未満）。 - Takeaway: heterogeneous 訓練の HFU は homogeneous subset と comparable。アルゴリズム効率を実速度に変えるにはシステムがアーキを意識する必要。 ##### GriNNder: Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading / Jaeyong Song （第2発表） > [[2026__MLSys2026__GriNNder - Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading|詳細メモ・Q&A はこちら]]（登壇者: Jaeyong Song / Seoul National University, AIS Lab） - テーゼ: full-graph GNN 訓練の **GPU/host メモリ容量壁**（100M 頂点・512 隠れ・3 層で **1.2TB** GPU メモリ要求）を、NVMe ストレージへの offloading で打破する GriNNder。 - 中核機構 **cache-(re)gather-bypass**: forward で snapshot を完全スキップ、backward 時に活性を host cache から **regather/recompute**。partition-wise / hierarchical caching（cross-partition 依存が power-law）と custom gradient engine で read amplification と snapshot 冗長を排除。 - 主要数値: SOTA HongTu 比**最大 9.78×**（5 層 GCN）/ 3 層で **6.95×**、single GPU で 16-GPU 分散ベースラインに匹敵、host memory ピークを HongTu 比 **5.75×** 削減。 - ハードウェア: i9（32 threads）+128GB DDR5 + RTX 5000 (24GB) + PCIe5 NVMe SSD の単一ワークステーション。 - Takeaway: 高帯域 PCIe5/NVMe をメモリ階層として使えば single GPU でも 100M+ 規模 full-graph 訓練が実用化でき、コスト効率で分散構成を代替しうる。Code: github.com/AIS-SNU/GriNNder。 ##### HexiScale: Facilitating Large Language Model Training over Heterogeneous Hardware / Ran Yan （第3発表） > [[2026__MLSys2026__HexiScale - Facilitating Large Language Model Training over Heterogeneous Hardware|詳細メモ・Q&A はこちら]]（登壇者: Ran Yan / HKUST。共著: Youhe Jiang, Xiaonan Nie, Fangcheng Fu, Bin Cui, Binhang Yuan / HKUST・北京大学・上海交通大学） - テーゼ: 散在する旧世代・異種 GPU を統合し LLM 訓練の参入障壁を下げる。data/pipeline/tensor 並列の全枠組みで**非対称（asymmetric）並列**を許し（pipeline 内・間で TP degree・層数・batch size を可変に）、placement を制約付き最適化として定式化、**two-phase graph partitioning**（global graph partitioning + pipeline construction）で効率解を求めるオープンソース訓練システム。 - 主要数値: 非対称化で symmetric 比 **1.6×**（case study）。同一 FLOPS の homo ベースライン比は平均 **0.83×・最大 1.01×**、hetero-aware ベースライン比 **1.5×〜2.4×** 高スループット。 - scheduler は random graph partition 比 **1.3×〜3.3×**、1024 GPU でも scheduling 約 372s と manageable。 - 2 課題: device heterogeneity（強力な GPU が弱い GPU に律速され under-utilize）と network heterogeneity（NVLink 300+ GB/s vs PCIe/ethernet 0.5 GB/s）。 - Takeaway: ヘテロ GPU でも homo に肉薄するスループットを達成。OSDI/SOSP 等の baseline に採用済みで、非対称並列とグラフ分割スケジューラの両輪が鍵。 ##### A Lightweight High-Throughput Collective-Capable NoC for Large-Scale ML Accelerators / Luca Colagrande （第4発表） > [[2026__MLSys2026__A Lightweight High-Throughput Collective-Capable NoC for Large-Scale ML Accelerators|詳細メモ・Q&A はこちら]]（登壇者: Luca Colagrande / ETH Zurich, IIS・PULP Platform、指導 Luca Benini） - テーゼ: オープンソース NoC **FlooNoC** を拡張し、ML 加速器の regular トラフィックに最適化した軽量・高スループットな **multicast / reduction 対応 NoC** を提案（picobello SoC、4×4 compute tiles + L2 tiles、wide/narrow network 上で実証）。 - 中核 **Direct Compute Access (DCA)**: 相互接続ファブリックに compute cluster の既存 ALU への直接アクセスを与え、512-bit wide reduction を新規 ALU なしで実現。「in-network arithmetic reduction はコスト過大」の定説を初めて覆す。 - multi-address (addr+mask) encoding で 2D mesh の複数宛先を log スケールで表現（宛先数に対し定数）。 - 主要数値: router 面積 **+16.5%**（multicast +5.8% / narrow redu +2.9% / wide redu +8.2%）、NI **+3.5%**、**system <1%**。multicast geomean **2.9×（最大 5.3×）**・reduction geomean **2.5×（最大 2.8×）**、GEMM 最大 **3.8× 高速・1.17× 省エネ**。 - Takeaway: collective 加速をほぼ無視できる system 面積コストで実現。フルオープンソース（pulp-platform/{FlooNoC, picobello}）。 ##### DreamDDP: Accelerating Low-Bandwidth Geo-Distributed LLM Training with Layer-wise Partial Synchronization / Zhenheng Tang ほか（代理発表）（第5発表） > [[2026__MLSys2026__DreamDDP - Accelerating Low-Bandwidth Geo-Distributed LLM Training with Layer-wise Partial Synchronization|詳細メモはこちら]]（登壇者: 代理発表（文字起こしでは "Willie"、断定不可）。著者: Zhenheng Tang・Zichen Tang ら / HKUST・HKUST(GZ)・香港浸会大学・哈爾濱工業大学） - テーゼ: geo 分散・低帯域（10Mbps〜1Gbps、データセンター内より 1〜3 桁低い）では通信時間が計算時間を支配。Local SGD は通信を $1/H$ に減らすが full synchronization が BP との通信オーバーラップを妨げる。DreamDDP は**モデル同期を layer 単位で疎結合化（partial synchronization, PLSGD）**し in-place 同期を後続 layer の BP とオーバーラップ。 - 手法: (1) S-SGD と同等の収束率 $\mathcal{O}(1/R)$ を理論保証する PLSGD、(2) GPU メモリ追加なしの in-place オーバーラップ、(3) 3 性質で探索空間を $\mathcal{O}(2^{\min(L-H,H)})$ に削減する DFS スケジューラ。 - 主要数値: 32 GPU・ResNet/GPT-2/Llama-2/Qwen で、ASC-WFBP 比 **1.73×〜5.22×**、FLSGD 比 **1.16×〜1.5×** のイテレーション高速化。wall-clock 収束は ASC-WFBP 比**最大 3.91×**、FLSGD 比**最大 1.56×**。 - Takeaway: Local SGD の「全モデル一括同期」を layer 単位に分解し、収束率を犠牲にせず通信–計算オーバーラップを取り戻す。スライド PDF 無し・文字起こしも冒頭で途切れのため**詳細は論文 PDF が主出典**。Code: github.com/trl730109/DreamDDP（MIT）。 ##### FP8-Flow-MoE: A Casting-Free FP8 Recipe without Double Quantization Error / Fengjuan Wang ほか （第6発表・推定） > [[2026__MLSys2026__FP8-Flow-MoE - A Casting-Free FP8 Recipe without Double Quantization Error|詳細メモはこちら]]（登壇者: Fengjuan Wang ら / Zhejiang Lab ※発表者個人は録音対象外で特定不可。論文 PDF・スライドのみに基づく） - テーゼ: FP8 MoE 訓練は BF16 主体データフローの冗長キャストで FP8 の利点を失い、キャスト除去すると double quantization error（layout 跨ぎで不整合なスケーリングファクタ）が生じる。 - 手法: **scaling-aware transpose**（2 のべき乗スケールで指数ビット操作のみの row→column 変換、Algorithm 1）と **fused FP8 operators** で量子化整合的な FP8 中心データフローを構築し、明示的キャストを **12 → 2** に削減。 - 主要数値（DeepSeek-V3 671B / 32 ノード Hopper）: BF16 比スループット **+6〜16%**、TE blockwise FP8 比最大 **+21%**（EP32）。peak memory を BF16 比 ~8GB・TE FP8 比 **16.5GB** 削減。EP32 で BF16/TE FP8 が OOM する一方 FP8-Flow-MoE は安定。 - 収束: BF16 とほぼ同一（相対 loss 誤差 0.19% 未満、200B トークン）。 - Takeaway: FP8 の有効性は drop-in カーネル置換でなくデータフロー設計に依存。TransformerEngine / Megatron-LM 互換の plug-and-play レシピ（複数 PR が upstream マージ済み）。 > [!note] セッション構成について > 本セッションのディレクトリ名は "LLM Training 3"。音声文字起こしで発表順を確認できたのは Zorse（第1）→ GriNNder（第2）→ HexiScale（第3）→ NoC（第4）→ DreamDDP（第5、冒頭で録音終了）。FP8-Flow-MoE は録音対象外で登壇順・正確な発表時刻・発表者個人を特定できなかった（論文 PDF・スライドのみに基づき第6・最終と推定）。各トークの 17:00 PDT 開始・15 分枠は推定。 > [!note] 並行セッション: Model Compression（Grand Ballroom 2、17:00 - 18:30 PDT） > 上記の LLM Training 3 と並行して Grand Ballroom 2 で開催。Moderator: Sanjeev Singh。以下 5 件の oral 発表。出典は各トークの**論文 PDF + スライド PDF**（Shannonic・ScaleSearch はスライド未公開のため論文のみ）。 ##### CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training / Soroush Tabesh ほか（Model Compression 第1発表 / 17:00 - 17:15） > [[2026__MLSys2026__CAGE Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training|詳細メモはこちら]]（登壇者: Soroush Tabesh / ISTA・Red Hat AI） - QAT を多目的最適化として再定式化し、STE に曲率認識補正項を付加する CAGE を提案。滑らかな非凸設定で $\mathcal{O}(1/\sqrt{T})$ 収束保証を提供。 - QAT ファインチューニングでは先行手法比で圧縮に伴う精度劣化を約半分に削減。Llama 事前学習では W3A3 が先行最良手法の W4A4 に匹敵する精度を達成。 - オプティマイザ非依存（AdamW/Muon/Shampoo/SOAP で検証）、Adam の統計量を活用した高効率実装。 - QuEST ベースの行方向量子化パイプラインと組合せ、MXFP4 ファインチューニングでも有効性を実証。 - コード公開: https://github.com/IST-DASLab/CAGE。 ##### Shannonic: Efficient Entropy-Optimal Compression for ML Workloads / Kareem Ibrahim ほか（Model Compression 第2発表 / 17:15 - 17:30） > [[2026__MLSys2026__Shannonic Efficient Entropy-Optimal Compression for ML Workloads|詳細メモはこちら]]（登壇者: Kareem Ibrahim / University of Toronto・Vector Institute） - ML テンソル向けロスレス圧縮手法 Shannonic を提案。値空間を最適分割し ANS でエントロピー符号化、わずか 530 B の状態でシャノン限界 1% 以内の圧縮効率を達成。 - 連合学習で 1.3–3.1 倍の高速化、エッジ・クラウド LLM 推論で 29–32% のレイテンシ削減を実現。 - INT8+ロスレス圧縮が INT4 量子化と同等以上の実効圧縮率を精度無劣化で達成する知見を提示。 - 動的計画法による最適レンジ分割と $4K$ 状態 tANS の組合せで理論保証と実用性を両立。 - ソフトウェア実装で 12.5 GB/s、FPGA 実装で 100 GB/s の復号スループット。 ##### Once-for-All Channel Mixers (HyperTinyPW): Generative Compression for TinyML / Yassien Shaalan（Model Compression 第3発表 / 17:30 - 17:45） > [[2026__MLSys2026__HyperTinyPW Generative Compression for TinyML|詳細メモはこちら]]（登壇者: Yassien Shaalan / Independent Researcher） - MCU 上の PW ミキサを共有マイクロ MLP でロード時に一度だけ合成する compression-as-generation 手法 HyperTinyPW を提案。INT8 推論を変更せず層間冗長性を排除。 - ECG ベンチマーク 3 種で 6.31 倍のフラッシュ圧縮（84.15% 削減）を達成し、大規模モデルの macro-F1 の 95% 以上を保持。Speech Commands で 96.2% 精度。 - packed-byte 計量とブートストラップ CI による統一評価プロトコルを導入。 - 形態学的に敏感な PW1 を INT8 保持するハイブリッド設計で安定学習と表現力を維持。 - コード公開: https://github.com/yassienshaalan/tinyml-gen。 ##### MixLLM: LLM Quantization with Global Mixed-precision between Output-features / Zhen Zheng ほか（Model Compression 第4発表 / 17:45 - 18:00） > [[2026__MLSys2026__MixLLM LLM Quantization with Global Mixed-precision between Output-features|詳細メモはこちら]]（登壇者: Taosong Fang / Microsoft。著者: Zhen Zheng, Xiaonan Song, Chuanjie Liu） - 出力特徴量間のグローバル混合精度量子化を探索し、モデル全体の最終損失への寄与度に基づき重要な出力特徴量を特定する MixLLM を提案。 - 10% のビット幅増加（W4.4A8）のみで Llama 3.1 70B のパープレキシティ増加を SOTA 比約 0.5 → 0.2 未満に、MMLU-Pro 損失を 1.92 → 0.99 に削減。 - 二段階逆量子化、高速 I2F 変換、メモリアクセス・逆量子化・MatMul のソフトウェアパイプラインで A100/H100 双方で SOTA システム効率を達成。 - Atom/SliM-LLM 等の入力特徴量・層内混合精度手法に対しグローバル最適化の優位性を実証。 - コード公開: https://github.com/microsoft/MixLLM。 ##### Search Your Block Floating Point Scales! / Tanmaey Gupta ほか（Model Compression 第5発表 / 18:00 - 18:15） > [[2026__MLSys2026__Search Your Block Floating Point Scales|詳細メモはこちら]]（登壇者: Tanmaey Gupta / Cornell University・Together AI） - BFP フォーマット（NVFP4/MXFP4）のスケールファクタを仮数ビット活用の細粒度探索で最適化する ScaleSearch を提案。NVFP4 の量子化誤差を 27% 削減。 - PTQ で MATH500 ベンチマーク最大 15 ポイント改善（Qwen3-8B）。Llama 3.1 70B で Wikitext-2 PPL を最大 0.77 ポイント改善。 - ScaleSearchAttention により NVFP4 ネイティブアテンションでほぼゼロの性能劣化を達成。attention-sink-aware 混合精度 KV キャッシュを導入。 - 量子化オーバーヘッドは 1.74 倍、アテンションスループット 98.3% とオーバーヘッドは無視可能。 - Cornell / Together AI / UC San Diego / Princeton の産学連携。 #### Poster Session 2 (18:30 - 20:30　Evergreen Ballroom) ### Day 4 (May 21 / Thu) #### Industry & Research Track: Agentic AI/MLSys & LLM Serving 5 (08:30) > [!note] セッション構成について > ここに収めたのは Industry Track Oral "Agentic AI/MLSys" の 6 トーク（08:30 - 10:00 PDT）。各トークの発表時刻・タイトル・著者は MLSys 公式 oral ページで確認済み（公式ページのセッション欄は全 oral 共通で "Poster Session 3" と表記される site 仕様のため、実セッション名は本見出しを採用）。出典は各トークの**論文 PDF + スライド PDF**（文字起こしは無し）。発表者個人は資料に明示されない場合があり、その旨は各個別ノートの注記に記載。併設の "LLM Serving 5"（Research Track、Grand Ballroom 2）は後述。 ##### ADR: An Agentic Detection System for Enterprise Agentic AI Security / Pan Hu （第1発表 / 08:30 - 08:45） > [[2026__MLSys2026__ADR - An Agentic Detection System for Enterprise Agentic AI Security|詳細メモはこちら]]（登壇者: Pan Hu / Uber Technologies） - MCP 上で動く AI エージェントを保護する Uber の本番実証済みフレームワーク ADR。可観測性・ロバスト性・検知コストの 3 課題に Sensor / 二層 Detector / Offline Explorer で対処。 - ADR Sensor が Cursor/Cline/Claude Code の SQLite/JSONL を解析し prompt→reasoning→tool call→outcome の因果連鎖を再構成（hourly、1 回平均 0.182 秒）。 - 二層検知: Tier 1 triage（GPT-4o, high recall）→ Tier 2 reasoning（Claude Sonnet 4）が source code/threat intel/policy の 3 MCP provider を動的照会。Offline Explorer が進化的 red-teaming（fitness $F=\varepsilon\times\sigma\times\tau^{1.2}$）で hard 攻撃を発見。 - ADR-Bench（302 タスク・133 MCP サーバ・17/17 手法）で precision 1.000・FP ゼロ・攻撃 67% 検知、3 ベースラインを F1 で 2〜4 倍上回る。AgentDojo は recall 1.000・FP 3 件。 - Uber で 10 か月以上・7,200+ hosts・日次 10,000+ sessions 運用、26 カテゴリの数百件クレデンシャル露出を発見。Hooks による shift-left 防止層で精度 97.2%。（正式略称 ADR = Agentic AI Detection and Response。公式/論文タイトルは "Detection System"、スライドのみ "Detection and Response System"。） ##### PROMPTS: PeRformance Optimization via Multi-Agent Planning for LLM Training and Serving / Yuran Ding （第2発表 / 08:45 - 09:00） > [[2026__MLSys2026__PROMPTS - PeRformance Optimization via Multi-Agent Planning for LLM Training and Serving|詳細メモはこちら]]（登壇者: Yuran Ding / University of Maryland・Google ※発表者は筆頭著者から推定。共著: Ruobing Han・Xiaofan Zhang・Xinwei Chen） - LLM 学習/サービングのシャーディング最適化を、ブラックボックス探索から「専門家推論に導かれた subspace identification」へ再フレーム化する Google/UMD のマルチエージェントフレームワーク PROMPTS。 - Coordinator/Analyzer/Proposal の 3 エージェント + Sharding Memory 構成。Analyzer が Xprof プロファイル（KPI/HLO Op Profile/roofline）から compute/memory/communication のボトルネックを診断、Proposal が RAG で top-3 の ici_mesh 構成を生成。 - 正当性は TPU compiler のクロスコンパイルが authoritative check（fail-fast、追加計装不要）。新ハードウェア対応は RAG 文書追加のみで拡張可能。 - 8 つの production ワークロード（v5p/v5e/v6e/tpu7x、2D/3D Torus、2〜2,048 chips、dense/MoE）で最大 434.75% 改善、7/8 が one-shot、Top Pick 採用率 87.5%、平均 50.25 ラン削減。 - Zero-Knowledge stress test で「junior partner」評価。限界は profiler 依存・ici_mesh 単独最適化・孤立演算分析で、将来は Evaluator–Verifier loop と full graph 入力へ拡張。 ##### Agentic Operator Generation for ML ASICs / Alec M. Hammond （第3発表 / 09:00 - 09:15） > [[2026__MLSys2026__Agentic Operator Generation for ML ASICs|詳細メモはこちら]]（登壇者: Alec M. Hammond / Meta ※発表者は筆頭著者から推定。共著者は全員 Meta・計21名） - TritorX は新興 ML ASIC（Meta MTIA）向けに、性能ではなく operator coverage を優先して機能的に正しい Triton ATen カーネルを大規模生成する FSM ベースの agentic AI システム。 - 481 個のユニーク ATen 演算子で対応 OpInfo テスト全件（20,000+）を pass、model ensemble で全体 coverage 84.0%（Opus 78.7 / Sonnet 72.2 / GPT-OSS 72.0 / CWM 55.3）。 - 200 production MTIA デバイスへ dispatch し 95% のランが 2 時間以内完了、full generation round は 1–2 時間で「overnight バックエンド生成」を提示。 - Ablation で linter 除去が最大の coverage 低下（CWM 55.3→35.7）を示し、cheating 防止と MTIA セマンティクス教育の両面で linter が支柱。 - Takeaway: off-the-shelf モデルと simple な agentic 構成でも、スケールと first-class インフラ（linter/compiler/debugger フィードバック）があれば ASIC バックエンド全体を時間単位で立ち上げ可能。 ##### Cost-aware Duration Prediction for Software Upgrades in Datacenters / Yi Ding （第4発表 / 09:15 - 09:30） > [[2026__MLSys2026__Cost-aware Duration Prediction for Software Upgrades in Datacenters|詳細メモはこちら]]（登壇者: Yi Ding / Purdue University ※発表者は筆頭著者から推定。共著: Meta Infra 5 名・University of Chicago Henry Hoffmann） - データセンターのソフトウェアアップグレード(SU)スケジューリングを制約付き最適化として定式化し、固定 worst-case 推定に代えて cost-aware な所要時間予測フレームワーク Acela を提案（初のデータセンター規模分析・デプロイ済み解）。 - 核心 3 技術: quantile regression（QGBT、$\tau>0.5$ で過大予測を促す非対称 loss）、SLO-aware model selection（MAE と OPR でスコアリング）、straggler-aware training（p99/p99.9 truncate）。 - Meta 本番（訓練 4M+ 件・評価 ~1M 件・198 UG）で window utilization 37.8%→47.1%（1.25 倍）、scheduled +33%、completed +41%、cancellation rate 6.6%→2.8%（2.4 倍低減）。 - Acela は 95% 完了 SLO（キャンセル率 <5%）を達成、Heuristic は未達。対称損失（L2/L1/Huber, Naïve-ML）は OPR~50% で SLO 不達。 - Takeaway: 「最も正確」ではなく「現実的にやや過大」な所要時間予測が鍵。所要時間予測のわずかな改善がアップグレード効率に大きな利得をもたらす。 ##### The OpenHands Software Agent SDK: A Composable and Extensible Foundation for Production Agents / Xingyao Wang （第5発表 / 09:30 - 09:45） > [[2026__MLSys2026__The OpenHands Software Agent SDK - A Composable and Extensible Foundation for Production Agents|詳細メモはこちら]]（登壇者: Xingyao Wang / OpenHands ※著者 11 名は全員 OpenHands） - OpenHands V1 のコア「Software Agent SDK」を提示。V0 モノリシックの構造的緊張を 4 設計原則（opt-in sandbox / stateless event-sourced state / strict separation / composability）で再設計。 - SDK/Tools/Workspace/Server の 4 Python パッケージ構成、local-to-remote をコード変更ほぼ無しで切替（Conversation factory + Workspace 抽象）。 - Event-sourcing が低オーバーヘッド（per-event persist 中央値 0.20 ms、crash recovery <20 ms、SWE-Bench 433 会話で実測）。 - 15 日本番ロールアウトで system-attributable 障害を V0 比 61% 削減（78.0 → 30.0/1k）、V0 の inter-pod HTTP 依存除去が主因。 - 14 モデル・5 ベンチマークで強力な性能（5 中 3 で SOTA 超え）、Claude Sonnet 4 は V0/V1 同一 68.0% で能力保存を確認。SDK は MIT License で OSS 化。（※当該 PDF はスライドでなくフル論文。arXiv 2511.03690） ##### BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching / Taosong Fang （第6発表 / 09:45 - 10:00） > [[2026__MLSys2026__BatchLLM - Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching|詳細メモはこちら]]（登壇者: Taosong Fang / ISCAS・UCAS, Microsoft インターン時に実施 ※発表者は論文著者欄から推定。correspondence は Zhen Zheng） - Microsoft + ISCAS による large-batched/offline LLM 推論の throughput 最適化システム BatchLLM。snippet generation・offline ranking・Ads title rewrite 等の single heavy prefix パターンが対象。 - Insight 1: グローバルな ahead-of-time prefix 識別 + DP（Algorithm 1）による第1レベルプレフィックス拡大で KV cache thrashing を回避（saving ratio: vLLM 35.8% に対し最適 58.1%、拡大単一レベルで 55%）。 - Insight 2: prefix-sharing group 単位スケジューリング・request reordering・memory-centric token batching で decoding と prefill チャンクを混合し GPU を飽和。 - horizontal fused prefix-shared Attention でカーネル launch オーバーヘッドと tail effect を削減。実装は vLLM v0.6.4 ベース、Triton カーネル。 - vLLM/SGLang 比 1.3x〜10.8x（A100/MI200）。産業ワークロードで 1.30x/1.26x、heavy-tailed decoding で 3.2x。コード公開（github.com/microsoft/MixLLM）。 #### Research Track Oral: LLM Serving 5 (08:30　Grand Ballroom 2) > [!note] セッション構成について > Research Track Oral "LLM Serving 5" の 5 トーク（08:30 - 09:45 PDT、Grand Ballroom 2、Moderator: Xiang Song）。Industry Track "Agentic AI/MLSys" と同一時間帯の並行セッション。出典は各トークの**論文 PDF + スライド PDF**（文字起こしは無し）。発表者個人は筆頭著者からの推定。 ##### PRISM: Parametrically Refactor Inference for Speculative Decoding Draft Models / Xuliang Wang （第1発表 / 08:30 - 08:45） > [[2026__MLSys2026__PRISM Parametrically Refactor Inference for Speculative Decoding Draft Models|詳細メモはこちら]]（登壇者: Xuliang Wang / University of Waterloo・Central China IAI） - 投機的デコーディングのドラフトモデルにおけるモデル容量と推論コストの根本的ジレンマに対し、条件付き計算（conditional computing）で各予測ステップを異なるパラメータ集合に分離する PRISM を提案。 - ドラフトステップ間の受理率異質性（ステップ 1 の約 0.95 → ステップ 4 で約 0.80）に着目し、多対一の全射写像でステップごとの特化と共有を両立。 - SGLang 上の実装で、高度に最適化済みの推論エンジンのデコーディングスループットを 2.6 倍以上向上。既存のすべてのドラフトアーキテクチャを凌駕。 - スケーリング則の再検証で、PRISM が他のドラフトアーキテクチャよりもデータ量拡大に対して効果的にスケールすることを実証。 - ACM アーティファクトバッジ 3 種取得（Available / Functional / Results Reproduced）。 ##### CDLM: Consistency Diffusion Language Models for Faster Sampling / Minseo Kim （第2発表 / 08:45 - 09:00） > [[2026__MLSys2026__CDLM Consistency Diffusion Language Models for Faster Sampling|詳細メモはこちら]]（登壇者: Minseo Kim / Seoul National University） - 拡散言語モデル（DLM）の 2 大ボトルネック（KV キャッシュ非互換と過剰なリファインメントステップ）を同時解消する訓練ベース手法 CDLM を提案。 - コンシステンシモデリングによるステップ削減 + ブロック因果的アテンションマスクによる KV キャッシュ完全互換化の二本柱。 - 数学・コーディングタスクで競争力のある精度を維持しつつ、3.6 倍〜14.5 倍のレイテンシ削減を達成。 - Dream および LLaDA の 2 教師モデルで有効性を実証。8 時間〜16 時間の訓練コスト。 - コード公開: github.com/SqueezeAILab/CDLM。 ##### Speculative Decoding: Performance or Illusion? / Xiaoxuan Liu （第3発表 / 09:00 - 09:15） > [[2026__MLSys2026__Speculative Decoding Performance or Illusion|詳細メモはこちら]]（登壇者: Xiaoxuan Liu / UC Berkeley Sky Computing Lab） - プロダクションエンジン vLLM 上で投機的復号の 5 変種（n-gram / EAGLE / EAGLE-3 / ドラフトモデル / MTP）を 4 モデル・6 データセット・複数バッチサイズで体系的にベンチマークした初の研究。 - ターゲットモデルによる検証が実行時間の 42%〜95% を占め最大のボトルネックであること、バッチサイズ増大で相対的高速化が減衰することを実証。 - 受理挙動がトークン位置・リクエスト・データセットの 3 次元で著しく変動し、n-gram はコード編集で最強、EAGLE-3 は安定性で優位。 - 観測性能とオラクル上界の間に大きな乖離があり、相補的手法の組合せで最大 4.9 倍の理論的高速化が可能と示唆。 - プロファイリングツール・シミュレータを OSS 公開。 ##### SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding / Jameson Sandler （第4発表 / 09:15 - 09:30） > [[2026__MLSys2026__SpecDiff-2 Scaling Diffusion Drafter Alignment For Faster Speculative Decoding|詳細メモはこちら]]（登壇者: Jameson Sandler / University of Virginia） - 投機的復号の 2 ボトルネック（ドラフト時の自己回帰依存性・ドラフタと検証器の不整合）を、離散拡散ドラフタと新規整合手法で同時解決するフレームワーク SpecDiff-2 を提案。 - Streak-Distillation（訓練時整合）でドラフタの受理確率を直接最大化し、DistillSpec 比 +48%、ベース比 +65% の受理率改善。 - Self-Selection Acceptance（テスト時整合）で $O(1)$ コストのマルチドラフト生成を実現、テスト時スケーリングで精度を +63% 向上。 - 平均 4.22 倍の壁時計高速化（最大 5.5 倍）、従来ベースライン比 +55% のトークン毎秒改善を精度劣化なしに達成。 - 訓練コスト ≤75 GPU 時間。全著者 University of Virginia。 ##### Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding / Yilong Zhao （第5発表 / 09:30 - 09:45） > [[2026__MLSys2026__Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding|詳細メモはこちら]]（登壇者: Yilong Zhao / UC Berkeley） - 推論言語モデル（RLM）の長大 CoT 生成によるメモリ帯域ボトルネックに対し、同一モデルの重みを共有するスパース自己投機的復号フレームワーク SparseSpec を提案。 - PillarAttn は検証フェーズの正確なアテンションスコアを再利用して重要トークンを選択し、Quest 比で受理率 74.20% vs 57.80% と大幅に優位。 - 統合バッチスケジューラ・遅延検証・動的 KV-Cache 管理の 3 つのシステム最適化をアルゴリズムと協調設計。 - 各種モデル・データセットで最大 2.13 倍のスループット向上を達成。訓練不要で追加ドラフトモデルも不要。 - コード公開: github.com/sspec-project/SparseSpec。UC Berkeley / MIT / UW / NVIDIA / Cornell / Tsinghua の産学連携。 #### Keynote: Rethinking Pretraining: Data and Architecture / Luke Zettlemoyer (10:30) > [[2026__MLSys2026__Rethinking Pretraining - Data and Architecture|詳細メモ・Q&A はこちら]]（登壇者: Luke Zettlemoyer / University of Washington・Meta） - テーゼ: 事前学習で重要なのは結局**データ**。新アーキ（Transformer 変種・MoE）は「データからより多くを引き出す」発想が動機で、狙いはスケーリング曲線の**交差**と**新能力の解禁**。 - 第 1 部（LIMA/ALMA/s1/RLVR）: 最小限の post-training でも能力が出る → 「高度な能力は事前学習に既にあり、再配置・制御の問題」。約 1,000 例で SOTA post-training の約 80%、s1 は CoT 1,000 例＋"wait" 挿入で高級モデルに匹敵。 - 第 2 部 BLT（tokenizer-free）: バイトレベル階層 Transformer。エントロピー高所で動的 patching し難所に FLOPs を配分。BPE 嫌い（前処理・変更困難・言語間不公平）。推論コスト固定で曲線交差、タイプミス頑健性ほぼ 100%。新論文で「学習予算大ほど最適圧縮率は下がる／最適圧縮は言語依存」。 - 第 3 部 FlexOlmo（UW×AI2）: dense からモジュラー MoE へ。public ベース＋private expert を独立学習し、**非パラメトリック・ルータ**で再学習なしに expert を追加・削除（決定境界を private 側に寄せる）。news expert を除くと news 性能だけ低下＝情報の局所化。8 experts 規模。 - 結論: 事前学習 vs post-training は要・科学（監督比率が指標）。BLT/FlexOlmo はスケール継続と post-training・安全性が課題。コード・モデルは公開。 #### Industry & Research Track: LLM Serving 6 & Efficient ML (13:00) > [!note] セッション構成について > ここに収めたのは Industry Track Oral "LLM Serving 6" の 5 トーク（公式 session/3709）。出典は各トークの**論文 PDF + スライド PDF**（文字起こしは無し）。各トークの**個別発表時刻・登壇順・会場（部屋）は公式 oral ページがログイン必須で確認できなかった**ため、frontmatter の time にはセッション枠（13:00 - 14:30 PDT）を記載し、登壇順は未確定。発表者個人は資料に明示されない場合があり、その旨は各個別ノートの注記に記載。併設の "Efficient ML"（Research Track Oral、Grand Ballroom 2）は後述。 ##### Beyond the Buzz: A Pragmatic Exploration of Prefill-Decode Disaggregation in Large Scale Inference / Tiyasa Mitra （発表時刻未確認） > [[2026__MLSys2026__Beyond the Buzz - A Pragmatic Exploration of Prefill-Decode Disaggregation in Large Scale Inference|詳細メモはこちら]]（登壇者: Tiyasa Mitra / NVIDIA ※筆頭著者から推定。共著 18 名は全員 NVIDIA） - NVIDIA 独自の kernel-aware GPU シミュレータで数十万〜数百万の設計点を評価した、データセンター規模 prefill-decode disaggregation の「初の体系的研究」。便益はサービングシナリオで大きく変動し、prefill-heavy（ISL≫OSL）・大モデルで最も効果的、decode-heavy では piggybacking 付き co-location が競争力を持つ。 - Prefill 最適化に Chunked Pipeline Parallelism (CPP) を提案。通信量が TP の all-reduce（$2\cdot ISL\cdot d_{model}\cdot N_{layers}\cdot bytes$）に対し CPP は send-recv のみ（$ISL\cdot d_{model}\cdot(N_{pp}-1)\cdot bytes$）で、長 ISL ほど CPP が TP に勝つ。 - 最適 Ctx:Gen GPU 比率はモデル・トラフィック・レイテンシ目標で大きく変動（DeepSeek-R1 で約 3.6、Llama-8B で約 0.4）。固定比率は dynamic rate matching に対し特定レイテンシ域で大幅劣化。 - NVIDIA Dynamo SLA-Aware Planner（Sweep/Profile/Runtime + time-series forecasting）が DeepSeek-R1-Distill-Llama-8B/H200 ベンチ（ISL 3K, OSL 300, FTL≤200ms, TTL≤10ms）で goodput 18.64 req/s を達成、inefficient ratio 比 8×・wrong mapping 比 4×・best static 比 約2×。 - 展開考慮: KV cache transfer は既存 DC 帯域で十分（egress は ISL 増で減少）、NIXL が async P2P 転送、Dynamo KV Router の cache-aware routing が round-robin より低 FTL を維持。larger NVLink domain も一貫改善。（※正式タイトルが論文タイトルページ／running header／スライド表紙／公式ファイル名で割れており、"Beyond the Buzz" は本文に非出現。見出しは公式ファイル名表記を採用。best static 比の goodput 改善は「2×」見出しと「1.5×」本文で食い違い両論併記。） ##### Scaling Up Large Language Models Serving Systems for Semantic Job Search / Zhipeng Wang, Sundara Raman Ramachandran （発表時刻未確認） > [[2026__MLSys2026__Scaling Up Large Language Models Serving Systems for Semantic Job Search|詳細メモはこちら]]（登壇者: Zhipeng Wang・Sundara Raman Ramachandran / LinkedIn ※スライド表紙 Presenters。筆頭著者は Kayhan Behdin・Qingquan Song、correspondence は Zhipeng Wang） - LinkedIn の Semantic Job Search ranking 向け decoder-only SLM を、pruning + RL context 圧縮 + serving infra 最適化で構成し、品質バー維持のまま throughput を 10x 向上（millions of RPS、3.15M items/sec・約 500ms 要件）。 - Model Compression: OSSCAR one-shot structured pruning（MLP 50% + transformer block 除去）で 600M→375M（約 45% 削減）、NDCG@10 低下 <1%、throughput +30%（論文 +27%）。 - Context Compression: 1.7B summarizer を verl 上で RL（GSPO + $P_2$, w=0.4）post-train し description を 93% 圧縮・NDCG@10 −2%。pruning 併用で offline 4.6x throughput lift（330→1530 items/sec/GPU）。 - Serving Infra（SGLang 0.4.6 / H100, prefill-only）: batch tokenization（5.2x）・decode skip（33→20ms）・in-batch prefix caching・multi-item scoring・PID dynamic depth（250→131, GPU −48%）・traffic shaping（+25%）。 - Online A/B: 圧縮 SLM v2 で NDCG@10 +8.45% / Poor Match −26.69% / WAU +1.49%、online 2000 items/sec/GPU（v1 比 10x 超）。OSS: fmchisel・SGLang（v1/score API）。 ##### Meeting SLOs, Slashing Hours: Automated Enterprise LLM Optimization with OptiKIT / Nicholas Santavas （発表時刻未確認） > [[2026__MLSys2026__Meeting SLOs Slashing Hours - Automated Enterprise LLM Optimization with OptiKIT|詳細メモはこちら]]（登壇者: Nicholas Santavas / eBay, Foundation Models Team ※スライド表紙・correspondence。Santavas と Gasteratos は Democritus University of Thrace 兼任） - 課題: エンタープライズ LLM 最適化はモデル/ワークロード当たり 80–100 expert hours を要し希少な専門知識がボトルネック。GPU 供給は固定でゼロサム制約。 - OptiKIT: Ray 上の分散 Python SDK。圧縮→統計評価→推論ベンチ→デプロイチューニングを Fetch/Compress/Evaluate/Benchmark/Tune/Upload の 6 ステージ単一ジョブとして自動編成（stage-isolated actor pool で per-stage sizing・deterministic teardown・fault isolation）。 - サービングレート認証: β≈1（steady-state）/β>1（backlog）を線形回帰で判定し、closed-loop infeasibility gate + open-loop certification の 2 フェーズでフィージビリティ境界を探索。チューニングは TPE（Ray Tune+Optuna）で per-GPU 正規化 fitness を最適化。 - 実験（H100, Qwen2.5 7B / Mistral Small 3 24B / Llama 3.3 70B）: 量子化+チューニングで per-GPU TPS を最大 2.13×（論文 2.87×）改善、量子化品質は recovery 99% 超（FP8/INT8）、deployment tuning で平均 88% GPU 利用率。 - スペシャリスト工数を 4–5×（80h→20h 級）削減し OSS 化。タイトな SLO では tuning が効き、throughput-bound では量子化が主効果。ワークロード依存。 ##### Optimizing Deployment Configurations for LLM Inference: Challenges and Insights / Meta Inference Team （発表時刻未確認） > [[2026__MLSys2026__Optimizing Deployment Configurations for LLM Inference - Challenges and Insights|詳細メモはこちら]]（登壇者: Meta Inference Team / Meta ※スライド表紙は Sung Min Cho、論文 correspondence は Sungmin Cho・Jaewon Lee） - Llama を月間ほぼ 10 億ユーザに提供する Meta が、HW（H100/H200/MI300X）× 5D 並列化（TP/PP/EP/CP/DP）× continuous batching/PD disaggregation × SLO（TTFT/TTIT）からなる ~1M+ のデプロイ構成空間を体系的に探索した回顧的知見。 - 探索基盤は ±5% 精度・数分で百万構成を掃く軽量性能シミュレータ（micro-benchmark 100K+/HW → piecewise-linear 補間 → E2E レイテンシ → QPS_cluster 最大化）。 - Insight: ①Disaggregated runtime は online で 70B 1.5–1.8x / 405B 1.8–2.2x の QPS（Meta は online 大多数を移行し約 30% capacity 削減）、offline は continuous batching と収束。②並列化はフェーズ別調整必須（prefill=PP 志向 TP4PP2、decode=TP8PP1+大 BS）。 - ③HW 異種性: prefill を高 FLOP の GPU、decode を高 HBM-BW の GPU に分離し 15–25% TCO 削減。④EP が MoE スケーリングを効率化（TP4DP4-TP4EP4 で TP8 比 +45%）。⑤大型 Dense は inter-host AllReduce 律速で scale-up 必須、MoE は EP で scale-out viable。 - （※論文著者表記は "Meta Inference Team"。Insight 4/5 の MoE は iso-parameter な hypothetical variant で Llama3 405B の実拡張ではない旨を明記。） ##### SHIP: SRAM-based Huge Inference Pipelines for Fast LLM Serving / Andrew Bitar （発表時刻未確認） > [[2026__MLSys2026__SHIP - SRAM-based Huge Inference Pipelines for Fast LLM Serving|詳細メモはこちら]]（登壇者: Andrew Bitar / NVIDIA, work done while at Groq ※スライド表紙 "Presenter: Andrew Bitar, LPU Team"。共著 24 名は全員 Groq チーム） - Groq の第一世代 SRAM-based Huge Inference Pipelines（SHIP = LPUv1 ベース、日次数千億トークン serving）の retrospective。GPU の HBM memory-bandwidth ボトルネック（特に decode）を SRAM で打破。 - LPUv1: GlobalFoundries 14nm、230 MB SRAM、235 GB/s C2C、deterministic 実行（compiler が全 FU・network traffic を静的スケジュール）。8 LPU/node、各 node 1 TB DDR4。 - QuadFour トポロジ: node の linear sequence で各 node が前後 4 node に計 32 link、low-diameter（8/72/136 LPU = 1/3/5 hops）・300 ns/hop の synchronous C2C。最大 3 node skip で耐故障。 - メモリ最適化: PagedAttention（mask encoding, page 128–512 token）・prefix caching（gpt-oss-120B を 72 node 分割、SRAM 69.7 GB/DDR4 72 TB、DRAM hit ~50–75%）・speculative decoding（Llama3.1-1B/3B draft）。 - Dynamic/balanced pipeline 3 技法（Dynamic Chunked Prefill・Fused Context-Batch・Capacity-Filling Prefill）。Figure 1 で gpt-oss-120b/20b・Kimi-K2・Llama4-Maverick・Llama3.3-70B の全モデルで他 provider より最低 E2E latency、SGB200 比でも全実験で低 mean TTFT。 #### Research Track Oral: Efficient ML (13:00　Grand Ballroom 2) > [!note] セッション構成について > Research Track Oral "Efficient ML" の 5 トーク（公式 session/3710、13:00–14:15 PDT、Grand Ballroom 2、Moderator: Vijay Janapa Reddi）。Industry Track "LLM Serving 6" と同一時間帯の並行セッション。出典は各トークの**論文 PDF + スライド PDF**（REPARO のみスライド無し）。文字起こしは無いため Q&A 無し。 ##### HELIOS: Adaptive Model And Early-Exit Selection for Efficient LLM Inference Serving / Avinash Kumar （第1発表 / 13:00 - 13:15） > [[2026__MLSys2026__HELIOS Adaptive Model And Early-Exit Selection for Efficient LLM Inference Serving|詳細メモはこちら]]（登壇者: Avinash Kumar / UT Austin。共著: Shashank Nag・Lizy John・Poulami Das [UT Austin]、Jason Clemons [NVIDIA]） - Early-exit LLM（EE-LLM）の二つの制約（単一モデル依存のレイテンシ限界、全レイヤー重みロードによるメモリ非効率）を解消するフレームワーク HELIOS。 - 洞察 1: あるモデルで脱出できないトークンは別モデルで脱出可能（早期脱出の相補性）。洞察 2: 信頼度未達でも予測が変化しないトークンは貪欲に脱出可能。 - 複数モデルの動的切替でトークン脱出率を最大化し、使用可能性の高いレイヤーの重みのみをロードしメモリを最大 67.4% 削減。 - 既存 EE-LLM 比でスループット **1.48 倍**（130.1 tok/s）、バッチサイズ **15.14 倍**。下流タスク精度を維持。 - OpenReview: https://openreview.net/forum?id=CV52m9NJFK ##### IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference / Wanli Zhong （第2発表 / 13:15 - 13:30） > [[2026__MLSys2026__IntAttention A Fully Integer Attention Pipeline for Efficient Edge Inference|詳細メモはこちら]]（登壇者: Wanli Zhong / Southern University of Science and Technology） - INT8 量子化後のアテンションパイプラインで、ソフトマックスの QDQ 迂回がレイテンシの 57–65% を占めるボトルネックを解消する完全整数パイプライン IntAttention。 - 中核の IndexSoftmax は、スパース性考慮クリッピング・32 エントリ UINT8 LUT 指数関数・整数正規化を統合し、浮動小数点変換を完全に排除。 - ARMv8 プロセッサ（RK3588S2）で FP16 比最大 **3.7 倍**高速・**61%** 省エネ、Apple M2 で最大 **2.8 倍**高速。 - 言語・ビジョン双方のモデルで高い忠実度を維持。学習不要のドロップイン置換。 - GitHub: https://github.com/WanliZhong/IntAttention ##### REPARO: Loss-Resilient Generative Codec for Video Conferencing / Tianhong Li （第3発表 / 13:30 - 13:45） > [[2026__MLSys2026__REPARO Loss-Resilient Generative Codec for Video Conferencing|詳細メモはこちら]]（登壇者: Tianhong Li / MIT CSAIL。共著: Vibhaalakshmi Sivaraman・Pantea Karimi・Lijie Fan・Mohammad Alizadeh・Dina Katabi [全員 MIT CSAIL]） - ビデオ会議のパケットロスに対し、FEC でなく生成深層学習モデル（VQGAN + 時空間 ViT）で欠落情報を復元するロス耐性コーデック REPARO。 - フレーム間依存を排除し、各フレームを独立に符号化。172M パラメータの時空間 ViT がマスクトークンを予測して欠落を補完。 - ワースト 10% PSNR で VP9+Tambur 比最大 **16.4 dB** 改善、未レンダリングフレームを **29.2% → 2.0%** に低減（高ロス時）。 - エンドツーエンド遅延 100 ms 以下。GPU（V100 相当以上）必須、512×512 解像度で検証。 - OpenReview: https://openreview.net/forum?id=GaBGzA7fpe ##### Rethinking DVFS for Mobile LLMs: Unified Energy-Aware Scheduling with CORE / Qiang Xu （第4発表 / 13:45 - 14:00） > [[2026__MLSys2026__Rethinking DVFS for Mobile LLMs Unified Energy-Aware Scheduling with CORE|詳細メモはこちら]]（登壇者: Qiang Xu / Purdue University。共著: Zongpu Zhang [SJTU/Purdue]、Pranab Dash・Y. Charlie Hu [Purdue]、Jian Li・Haibing Guan [SJTU]） - モバイル LLM 推論で CPU・GPU・メモリの DVFS ガバナが独立動作し、最適組み合わせ比で 23.0–40.4% の遅延増加または 5.0–16.6% のエネルギー増加を招く問題を体系的に特定。 - 統一エネルギー認識型ガバナ CORE は、3 コンポーネントの周波数を協調制御し、プリフィル/デコード各フェーズの計算特性に適応。 - Pixel 7 上 ShareGPT トレースで TTFT を **8.5–17.7%**、TPOT を **27.8–39.6%** 削減。トークンあたりエネルギーは増加せず。 - 2,808 通りの網羅探索で得た最適周波数に対する乖離を定量化。独立ガバナの拮抗作用を理論・実測で実証。 - OpenReview: https://openreview.net/forum?id=PSyHQ8kVUT ##### EarthSight: A Distributed Framework for Low-Latency Satellite Intelligence / Ansel Erol （第5発表 / 14:00 - 14:15） > [[2026__MLSys2026__EarthSight A Distributed Framework for Low-Latency Satellite Intelligence|詳細メモはこちら]]（登壇者: Ansel Erol / Georgia Institute of Technology。共著: Seungjun Lee [Georgia Tech / KAIST]、Divya Mahajan [Georgia Tech]） - LEO 衛星コンステレーションのダウンリンク遅延を、軌道と地上にまたがる分散意思決定フレームワーク EarthSight で大幅低減。 - 3 技術革新: (1) 共有バックボーンによるマルチタスク推論で衛星上の計算を償却、(2) 地上局スケジューラがリクエスト集約と予算割当、(3) 動的フィルタ順序付けで低価値画像を早期棄却。 - 画像あたり平均計算時間 **1.9 倍**削減、P90 エンドツーエンドレイテンシ **51 分 → 21 分**。GPU 電力消費を 171.96% から 61.49% に低減。 - 災害対応・インフラ監視など時間的制約の厳しいアプリケーションに適用。 - GitHub: https://github.com/scai-tech/earthsight #### Industry & Research Track: LLM Training 4 & Benchmarks (14:45) > [!note] セッション構成について > ここに収めたのは Industry Track Oral "LLM Training 4" の 6 トーク（公式セッション枠 14:45 PDT 開始）。出典は各トークの**論文 PDF + スライド PDF**（文字起こしは無し）。発表者個人・登壇順は資料に明示されない場合があり、その旨は各個別ノートの注記に記載。併設の "Benchmarks" トークは未収録。 ##### veScale-FSDP: Flexible and High-Performance FSDP at Scale / Zezhou Wang ほか（ByteDance Seed） > [[2026__MLSys2026__veScale-FSDP Flexible and High-Performance FSDP at Scale|詳細メモはこちら]]（登壇者: ByteDance Seed チーム。筆頭著者 Zezhou Wang, Youjie Li, Zhiqi Lin, Jiacheng Yang） - FSDP のパラメータシャーディングにおける「柔軟性 vs 性能」のジレンマを解消するシステム veScale-FSDP。`RaggedShard`（ブロック単位不均等シャーディング）により、ゼロコピー通信と構造保持を両立。 - 構造認識型プランニングアルゴリズム（NP 困難問題をヒューリスティック + DP で多項式時間近似）と `DBuffer`（決定論的メモリ管理）で通信・メモリ効率を最適化。8-bit Adam や Muon オプティマイザとの同期不要な統合を実現。 - GPT-OSS-120B・LLaMA-3-70B 等で DeepSpeed/FSDP1/FSDP2/Megatron-FSDP に対しスループット 5〜66% 向上・メモリ 16〜30% 削減。最大 2.4T パラメータ・10K Hopper GPU までほぼ線形にスケール。 - `RaggedShard` は PyTorch 公式ロードマップに掲載済み。OSS: https://github.com/volcengine/veScale ##### FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost / Chenhao Feng ほか（Meta） > [[2026__MLSys2026__FreeScale Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost|詳細メモはこちら]]（登壇者: Meta チーム。筆頭著者 Chenhao Feng, Haoli Zhang。correspondence: Shen Li） - DLRM の分散学習でスケーリング時に生じる計算バブル（ストラグラー＋ブロッキング AllToAll 通信）を体系的に除去するフレームワーク FreeScale。 - 3 技法の統合: (1) UIH 長ベースのシーケンス負荷均衡化でストラグラーを 9 倍削減、(2) 衝突行/排他行を分離した優先度付きエンベディング更新で露出通信を 9 倍削減、(3) CPU-RDMA による SM-Free 通信で計算とのリソース競合を解消（+10% 高速化）。 - 256 H100 GPU の実運用ワークロードで計算バブル 90.3% 削減・QPS 最大約 33% 向上を達成しつつ、モデル品質（正規化エントロピー）はベースラインと完全一致。 - PyTorch + TorchRec + Triton 上に約 8,600 行で実装（TorchRec の 2.5%）、モデル実装への侵入が少ない設計。 ##### Sparing Strategies to Minimize Reliability Impact on Large Training Jobs / Kevin J. Quirk ほか（Meta） > [[2026__MLSys2026__Sparing Strategies to Minimize Reliability Impact on Large Training Jobs|詳細メモはこちら]]（登壇者: Meta チーム。correspondence: Ehsan K. Ardestani） - LLM 訓練クラスタにおけるスペアリング戦略（予備 GPU の事前確保）の最適化を扱う。マルコフ連鎖ベースの閉形式解析フレームワークを提案し、コンピュートブロックサイズ・ブロック内/ブロック間スペア数・障害復旧方式・配置制約を統合的にモデル化。 - グッドプットを CETT（クラスタ有効訓練時間）、ハードウェア TPS スケール（電力再分配）、LLM TPS スケール（並列化効率）の積として定式化し、戦略間の比較を可能にした。 - 本番パラメータでの評価では、72 GPU ブロック + ブロック内スペア 8 基が最大グッドプット 61,134 GPU を達成（次点比 1.024 倍）。モンテカルロシミュレータ Arcadia との相対誤差は 1% 未満。 - 普遍的に最適な単一戦略は存在せず、MTBF・MTTR・モデル構成・配置制約の組合せに応じて最適解が変化することを示した。 ##### Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training / Guanliang Liu ほか（Amazon, Store Foundational AI） > [[2026__MLSys2026__Guard Scalable Straggler Detection and Node Health Management for Large-Scale Training|詳細メモはこちら]]（登壇者: Guanliang Liu / Amazon） - Amazon の大規模 LLM 学習クラスタ向けストラグラー検知・ノード健全性管理システム Guard。標準ヘルスチェック（NCCL テスト・GPU バーンイン）を通過しながら性能が劣化する「グレーノード」を対象とする。 - オンラインモニタリング（ピアベース異常検知 + マルチシグナル融合 + 時間的フィルタリング）とオフラインノードスイープ（現実的ワークロード再現による 1--2 時間の持続的性能検証）を閉ループで統合。 - 段階的緩和ポリシー（影響なし→監視継続、約 10% 減速→チェックポイント時緩和、>= 20% 劣化→即時交換）とエスカレーション型トリアージワークフローで運用負荷を最小化。 - 本番評価で MFU を最大 1.7 倍改善、実行間ステップ時間分散を 20% から 1% に低減、平均ステップ時間を 17 秒から 10 秒に短縮（約 70% 効率改善）、MTTF を 6.6h から 16.7h に延伸。 - 検知ツールの一部を fkat（https://github.com/amzn/fkat）としてオープンソース化。 ##### AXLearn: Modular, Hardware-Agnostic Large Model Training / Xiyou Zhou（Apple） > [[2026__MLSys2026__AXLearn Modular Hardware-Agnostic Large Model Training|詳細メモはこちら]]（登壇者: Xiyou Zhou / Apple Foundation Model。筆頭著者 Mark Lee, Chang Lan） - Apple が開発したプロダクション訓練システム AXLearn。厳密なカプセル化（strict encapsulation）とコンフィグの木構造合成により、RoPE や MoE の統合に必要な既存コード変更を **LoC-Complexity $O(1)$（実質 0 行）**に抑えた。他の全システムは $O(NM)$。 - JAX + XLA + GSPMD 上に構築し、GPU（H100/B200）・TPU（v5p）・AWS Trainium2 の 4 バックエンドを単一コードベースで対応。メッシュルールによるバックエンド固有の最適化をコンフィグモディファイアで簡潔に表現。 - Llama2-7B/70B・Qwen-3 30B-A3B(MoE) の訓練で MaxText・Megatron-LM と同等以上の MFU/スループットを達成。150B モデルで 8,192→32,768 チップのほぼ線形スケーリング（MFU 40.6%→37.6%）。 - 障害復旧は Kubernetes ホットスワップ 4 分＋チェックポイント復元 9 分＝合計 21 分（32,768 チップ規模）。訓練コードから推論エンジンも導出し、TPU 上で vLLM 比 TTFT 500 倍高速化。 - 数百名のエンジニアが 10,000 以上の同時実験を稼働。Apple Intelligence として 10 億人以上のユーザに搭載。Apache 2.0 で公開: https://github.com/apple/axlearn ##### MoEBlaze: Breaking the Memory Wall for Efficient MoE Training on Modern GPUs / Jiyuan Zhang ほか（Meta） > [[2026__MLSys2026__MoEBlaze Breaking the Memory Wall for Efficient MoE Training on Modern GPUs|詳細メモはこちら]]（登壇者: Jiyuan Zhang / Meta。連絡先著者: Jiyuan Zhang, Shen Li） - テーゼ: MoE 学習における 2 大メモリボトルネック（トークンルーティングバッファと FFN 中間アクティベーション）を、エンドツーエンドのメモリ効率トークンディスパッチとカーネルコデザインで解消するフレームワーク MoEBlaze。 - 従来のエキスパートごとバッファ確保を軽量インデックス構造に置換し、オンザフライギャザー/リダクションでマテリアライズを排除。SwiGLU エピローグフュージョンとスマートアクティベーションチェックポイントにより中間テンソルのグローバルメモリ書き出しを回避。 - ハッシュベースのロックフリー並列ディスパッチ構築は、ソートベース比で実運用 MoE モデル群（DeepSeek V3、Qwen3 等）において 2 倍超の高速化を達成。 - Megablocks 比で SwiGLU 構成において **2-6.2 倍の高速化**と**最大 77% のアクティベーションメモリ削減**を実証。ベースラインが OOM となる 512k トークン超でも 200 万トークンまで安定動作し、数学的等価性を保ちつつ精度損失ゼロ。 - Meta 社内で 200 万 GPU 時間超の節約に貢献。FSDP/TP/PP/EP と直交的に統合可能でほぼ線形のマルチ GPU スケーリングを確認。 #### Industry & Research Track: Benchmarks & Compilers/Kernels (16:30) > [!note] 並行セッション > Industry Track "Benchmarks and Evaluation"（Grand Ballroom 1、16:30 - 18:00 PDT）と Research Track "Compilers and Kernels"（Grand Ballroom 2、16:30 - 18:00 PDT）が並行開催。 ##### ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels / Stuart H. Sul ほか（Research Track Oral: Compilers and Kernels / 16:30 - 16:45） > [[2026__MLSys2026__ParallelKittens Systematic and Practical Simplification of Multi-GPU AI Kernels|詳細メモはこちら]]（登壇者: Stuart H. Sul / Stanford University・HazyResearch） - マルチ GPU カーネル設計空間を 3 原則（転送メカニズム・スケジューリング・設計オーバーヘッド）に形式化し、ThunderKittens を拡張した最小限の CUDA フレームワーク ParallelKittens (PK) を提案。 - 8 つのコアプリミティブと統一プログラムテンプレートにより、50 行未満のデバイスコードでデータ並列・テンソル並列・系列並列・エキスパート並列の各ワークロードを実装可能。 - TMA ベースの細粒度転送と SM 内/SM 間オーバーラップの使い分けにより、手動最適化カーネル（Flux、CUTLASS）に対し 0.97 倍から 7.39 倍、コンパイラベース（Triton Distributed）に対し 1.07 倍から 5.63 倍の性能改善。 - Hopper（H100）および Blackwell（B200）で検証。非オーバーラップ通信時間をデータ/テンソル並列で 1%、系列並列で 9%、エキスパート並列で 15% まで削減。 - Cursor 社（Composer 2 学習）および Together.ai で本番採用。コード公開: https://github.com/HazyResearch/ThunderKittens。 ##### Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel / Hongyi Jin ほか（Research Track Oral: Compilers and Kernels / 16:45 - 17:00） > [[2026__MLSys2026__Event Tensor A Unified Abstraction for Compiling Dynamic Megakernel|詳細メモはこちら]]（登壇者: Hongyi Jin / CMU。共著: UW、NVIDIA 等） - 動的メガカーネルのコンパイルを統一するコンパイラ抽象 Event Tensor を提案。タイル化タスク間の依存関係をカウンタ付きテンソルとして符号化し、形状の動的性とデータ依存の動的性の双方を第一級で扱う。 - Event Tensor Compiler (ETC) は同一 IR から静的・動的スケジューリングの双方を自動生成し、ワークロード特性に応じて選択可能。シンボリック形状サポートにより AOT コンパイルを実現し、JIT コンパイルや CUDA Graph 再キャプチャが不要。 - GEMM + Reduce-Scatter で cuBLAS+NCCL 比最大 1.40 倍、MoE レイヤで Triton/FlashInfer 比最大 1.23 倍の高速化。Qwen3-30B-A3B で vLLM 比 1.48 倍・SGLang 比 1.20 倍のデコードレイテンシ改善。 - ウォームアップは SGLang 583 秒・vLLM 123 秒に対し ETC は 35 秒（グラフキャプチャ 0 回）。主要オープンソースシステムに統合済み。 - 実験環境: NVIDIA B200 GPU 8 基（NVLink 接続）。 ##### AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization / Genghan Zhang ほか（Research Track Oral: Compilers and Kernels / 17:00 - 17:15） > [[2026__MLSys2026__AccelOpt A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization|詳細メモはこちら]]（登壇者: Genghan Zhang / Stanford University。共著: AWS・University of Toronto） - LLM エージェントによる新興 AI アクセラレータ（AWS Trainium）向けカーネルの自動最適化システム AccelOpt を提案。ハードウェア固有の最適化レシピなしに、ビームサーチと最適化メモリで探索空間を反復的に走査する。 - プランナ・エグゼキュータ・サマライザの三エージェント構成を採用し、低速・高速カーネル対から汎用最適化知見を蒸留して蓄積する自己改善ループを実現。 - 実世界 LLM ワークロードから抽出した 14 カーネルのベンチマーク NKIBench を新規構築。Trainium 1 で平均ピークスループット比率 49%→61%、Trainium 2 で 45%→59% に改善。 - Claude Sonnet 4 の単純繰り返しサンプリングに対し 26 倍低コストで同等以上の性能。一部カーネル（Mamba ブロック、RoPE）では人間専門家を超過。 - H100 Triton カーネルへの汎化も確認。コード公開: https://github.com/zhang677/AccelOpt。 ##### DynaFlow: Transparent and Flexible Intra-Device Parallelism via Programmable Operator Scheduling / Yi Pan ほか（Research Track Oral: Compilers and Kernels / 17:15 - 17:30） > [[2026__MLSys2026__DynaFlow Transparent and Flexible Intra-Device Parallelism via Programmable Operator Scheduling|詳細メモはこちら]]（登壇者: Yi Pan / University of Washington・Shanghai Jiao Tong University） - 論理的なモデル定義と物理的な実行スケジュールを分離し、デバイス内並列化（重畳・融合・分割）の透過的かつ柔軟な統合を可能にするフレームワーク DynaFlow を提案。 - `torch.compile` バックエンドとして 4,100 行の Python で実装。グラフ分割アノテーションとプログラマブルスケジューリングインタフェースにより、NanoFlow・DBO・TokenWeave・Flux・Comet 等の戦略を約 20 行で記述可能。 - 6 つの最先端 ML システム × 6 戦略の網羅的評価で最大 1.29 倍のスループット向上を達成。ゼロコピーデータフローと非同期メモリ管理によりオーバーヘッドを最小化。 - CUDA Graph・TorchInductor 等の既存低レベル最適化との完全互換性を維持。侵入的コード改修なしに並列化戦略の動的切替が可能。 - コード公開: https://github.com/uw-syfi/DynaFlow。 ##### ApproxMLIR: Accuracy-Aware Compiler for Compound ML System / Hao Ren ほか（Research Track Oral: Compilers and Kernels / 17:30 - 17:45） > [[2026__MLSys2026__ApproxMLIR Accuracy-Aware Compiler for Compound ML System|詳細メモはこちら]]（登壇者: Hao Ren / University of Illinois Urbana-Champaign） - 複合 AI システム（LLM + RAG・ツール呼び出し等）の ML/非 ML コンポーネントを横断的に近似最適化するため、MLIR 上に `approx` ダイアレクトを導入した再利用可能なコンパイルツールチェーン。 - `approx.knob`（スコープ・チューナインタフェース）、`approx.decision_tree`（ランタイム状態に基づく動的分岐）、`approx.transform`（ループパーフォレーション・関数代替・タスクスキッピング等の具体的書き換え）の 3 オペレーションで近似を第一級の IR 概念として扱い、標準 MLIR パスに破壊されない。 - 動的近似は LLM + RAG (kb) で QoS 損失 3%/6%/9% の下で 2.64x/2.64x/3.04x の高速化を達成し、静的近似（1.69x/1.93x/2.27x）を一貫して上回る。カーネル単体では最大 7.38 倍。 - パレートフロンティアは動的が静的より低く（より良いトレードオフ）かつ密（動作点が豊富）。チューニングは評価セットへ良好に汎化（乖離 3.7〜19.5%）。 - OpenTuner 統合によるオートチューニング。OSS: `github.com/uiuc-arc/approxMLIR`。 ##### HipKittens: Fast and Furious AMD Kernels / William Hu ほか（Research Track Oral: Compilers and Kernels / 17:45 - 18:00） > [[2026__MLSys2026__HipKittens Fast and Furious AMD Kernels|詳細メモはこちら]]（登壇者: William Hu / Stanford University・HazyResearch, AMD） - ThunderKittens (TK) のタイルベースプリミティブを AMD GPU へ移植した C++ 組み込みフレームワーク HipKittens (HK) を提案。AMD 向けの高性能カーネル開発原則を初めて体系化。 - ウェーブ特殊化は AMD で性能劣化するため、8-wave ping-pong（均衡ワークロード）と 4-wave interleave（不均衡ワークロード）の 2 つの代替スケジューリングパターンを同定。 - チップレット構成（8 XCD）の分離キャッシュ階層に対応するスウィズリングアルゴリズムで L2/LLC 再利用を同時最適化し、素朴なスケジュール比 19% の性能向上。 - CDNA3 MI325X / CDNA4 MI355X 上で BF16/FP8 GEMM・アテンション順逆伝搬・メモリ律速カーネルを評価。アセンブリカーネル（AITER）と同等、コンパイラベースライン（Triton）を 1.3-3.0 倍上回る。一部設定では全ベースラインを 1.2-2.4 倍超過。 - AITER および ROCm TransformerEngine にプロダクション採用済み。コード公開: https://github.com/HazyResearch/HipKittens。 #### Industry Track Oral: Benchmarks and Evaluation (16:30 - 18:00　Grand Ballroom 1) > [!note] セッション構成について > MLSys2026 Industry Track の Oral Presentation セッション（司会 Youjie Li、公式カレンダー session/3717）。各トークの個別ノートは論文 PDF とスライド PDF のみに基づき作成（音声文字起こし無しのため Q&A セクション無し、数値はスライドを権威とした）。発表順は公式カレンダー準拠。 ##### XProf: An Open, Scalable, and Extensible Profiling System for the Modern ML Stack / Charles Alaras ほか（Google）（第1発表） > [[2026__MLSys2026__XProf - An Open Scalable and Extensible Profiling System for the Modern ML Stack|詳細メモはこちら]]（登壇者: Google チーム。スライド発表者ハイライト: Charles Alaras・Yin Zhang・Jiya Zhang・Clive Verghese。第一著者 Robert Hundt） - テーゼ: OpenXLA エコシステム向けのオープンなフルスタック ML プロファイラ。ホスト(CPU)とデバイス(TPU/GPU)を統合した視点を TPU で **<1% オーバーヘッド**・数千チップ規模で提供。 - 軽量インストルメンテーション TraceMe は "connect the dots later"・lock-free・thread-local 設計でトレースデータを KB/s オーダーに抑制。TPU は v2 以降が命令トレースの HW 支援を持ち、無効時は no-op でゼロオーバーヘッド。 - ホスト収集オーバーヘッドは TPU で一貫して 0.3% 未満（Gemini 2.5 Decode v5p 最大 0.28%）、GPU H100 では合計約 2.3%。 - Global Timestamp Counter を ICI fabric 経由で数千チップ同期（1GHz、1 tick=1ns）。分散処理は MapReduce、TraceViewer は動的レンダリングで数億イベントを処理。 - ケーススタディで power fluctuation 約 50% 削減・on-chip 温度変動を半減(20→10°C)を 1% 未満オーバーヘッドで実現。PyPI ダウンロードは 10 か月で 17×。 ##### AIRS: Scaling Live Inference in Resource Constrained Environments / Nilesh Jagnik（Google）（第2発表） > [[2026__MLSys2026__AIRS - Scaling Live Inference in Resource Constrained Environments|詳細メモはこちら]]（登壇者: Nilesh Jagnik / Google, Search Evaluations） - テーゼ: Google 検索品質評価で LLM autorater による**日次 100M+ 評定**を、ライブトラフィック向けに予約され制約の厳しい TPU 上で需要>供給を捌く推論パイプライン AIRS。 - 二層設計（Rating Fulfillment + Model Management）と Integrated/Isolated の 2 モード。caching・queuing・batching（デフォルト batch size 12）・quota accounting・back-pressure・prioritization を組合せ。 - Page Quality / Needs Met 評定の 90 日 freshness window によるクライアント側キャッシュで**平均 40% cache hit** を達成し、モデルへの実 QPS をピークの **1–4%** に削減。 - 信頼性は rating generation の中央値失敗率 0.8%・80 パーセンタイル成功率 97.8%。トップライン autorater AR_1 はピーク TPU duty cycle ほぼ 1.0 でメトリクスをしばしば 30 分以内に生成。 - Takeaway: TPU 割当が **20×** 異なる AR_1/AR_2 で高優先度（incoming の 80–90%）を即実行、低優先度は 5–10× 遅延。トップライン評定を数時間以内に生成可能。 ##### SAKURAONE: An Open Ethernet-Based AI HPC System ... in a Single-Tenant LLM Development Environment / Yuuki Tsubouchi（SAKURA internet）（第3発表） > [[2026__MLSys2026__SAKURAONE - An Open Ethernet-Based AI HPC System and Its Observed Workload Dynamics in a Single-Tenant LLM Development Environment|詳細メモはこちら]]（登壇者: Yuuki Tsubouchi / SAKURA internet, Inc.・SAKURA Internet Research Center。著者: Fumikazu Konishi・Yuuki Tsubouchi・Hirofumi Tsuruta） - テーゼ: 完全オープンな Ethernet スタック（SONiC + 800GbE RoCEv2, Broadcom Tomahawk 5）の 100ノード/800×H100 SXM クラスタ SAKURAONE。ISC2025 TOP500 で HPL **33.95 PFLOP/s・49 位**、fully open networking を用いる唯一の top 100 システム。 - HPC/AI/storage 横断で competitive: HPL-MxP 339.86 PFLOP/s（FP8、43 位）、HPCG 396.295 TFLOP/s（12 位）、IO500 total 214.09（96ノード、9 位）。 - MLPerf Training v4.1 GPT-3 175B で NVIDIA Eos（Quantum-2 NDR IB）との gap は **9–17%**（32ノード TTT 105.31 分 vs Eos 96.66 分）、オープン Ethernet が proprietary IB に肉薄。 - single-tenant でも skew: 1ノードジョブがジョブ数 76.9% だが GPU 占有時間 1.8%、17+ノードジョブはジョブ数 3.3% で GPU 占有時間 73.3%。CANCELLED ジョブが GPU-time の 73.5%。 - Takeaway: 障害 21 件中 GPU 関連が **9 件・42.9%** で最頻（fabric でなく GPU が支配的障害源）。利用は pretraining-heavy→fine-tuning/evaluation フェーズへ月単位で遷移し elastic 運用が望ましい。 ##### MLCommons Chakra: Advancing Performance Benchmarking and Co-design using Standardized Execution Traces / Brian Coutinho（NVIDIA）（第4発表） > [[2026__MLSys2026__MLCommons Chakra - Advancing Performance Benchmarking and Co-design using Standardized Execution Traces|詳細メモはこちら]]（登壇者: Brian Coutinho / NVIDIA。corresponding: Srinivas Sridharan・Tushar Krishna） - テーゼ: 分散 AI ワークロード実行を DAG で表すオープンな実行トレース(ET)標準 Chakra。Meta×Georgia Tech が 2023 年に開発し MLCommons 配下 40+ メンバー WG へ。モデルパラメータを晒さず性能を表現。 - トレース解析: 128 H100/200・Mixtral-8×22B で 100Gb/s IB は 400Gb/s 比 AllToAll **4.1×**・AllGather 4.4×・ReduceScatter 1.5×・AllReduce 9.7× slower。 - トレースリプレイ: Megatron-LM 43B GPT を 32 ranks(PP=4,TP=4,DP=2) で再実行、NCCL BW Ratio 最大 1.291。マイクロバッチ並列化発見で通信集合性能 **2× 改善**。 - シミュレーション: Astra-sim が Chakra を入力採用、Mixtral8-7B/8 H100 で Switch トポロジが Ring・Fully-Connected より低通信時間。 - エミュレーション: Keysight AI DCB が 12.8T switch×4・400Gbps Clos・DCQCN の物理 DUT に注入。All-Reduce/All-to-All 混在で輻輳制御が小フローを絞り straggler が JCT を増大。 ##### ProfInfer: An eBPF-based Fine-Grained LLM Inference Profiler / Bohua Zou（Huawei / TUM）（第5発表） > [[2026__MLSys2026__ProfInfer - An eBPF-based Fine-Grained LLM Inference Profiler|詳細メモはこちら]]（登壇者: Bohua Zou / Huawei Hilbert Research Center (Dresden)・Technical University of Munich。corresponding: Debayan Roy） - テーゼ: llama.cpp 上に eBPF（uprobe/uretprobe/tracepoint）で非侵襲プローブをアタッチし、Token/Graph/Operator/Scheduler の 4 粒度で on-device LLM 推論をプロファイル。 - オーバーヘッドは libbpf 全機能 OFF で decode 速度低下 **1.19±0.18%**、BCC 全機能 ON でも 3.67±1.21%（token/graph のみなら 0.1%）。 - ONNX Runtime profiler 比で decode 速度低下 **3.60±0.80% vs 8.91±1.94%** と軽量、かつ全推論スレッドをトレース可能（ONNX は main thread のみ）。 - 3 ビュー（ProfDAG/ProfTime/ProfStat）で TTFT・TPOT の 97% 超が MatMul、matrix-vector 乗算で CPU サイクルの 50% 超（4スレッドで 80% 超）が stall（メモリ帯域ボトルネック）を可視化。 - MoE（Qwen1.5-MoE-A2.7B-Q4、60 experts・4 活性化）でボトルネックがメモリ帯域でなく**ディスク I/O** であることを特定。評価は Orange Pi 5 系・Rubik Pi 3（RK3588/QCS6490 NPU）。 ##### Machine Learning Fleet Efficiency: Improving TPU Systems at Scale with ML Productivity Goodput / Arissa Wongpanich（Google）（第6発表・最終） > [[2026__MLSys2026__Machine Learning Fleet Efficiency - Improving TPU Systems at Scale with ML Productivity Goodput|詳細メモはこちら]]（登壇者: Arissa Wongpanich / Google） - テーゼ: 数千 TPU の Google 本番フリートで、利用率ベース指標の限界を突き効率を 3 因子へ分解する **ML Productivity Goodput（MPG = SG × RG × PG）** を提案。「busy ≠ productive」。 - MPG = (all-allocated/capacity) × (productive/all-allocated) × (predicted/productive)。Iron Law（Emer & Clark 1984）に着想しスケジューリング/ランタイム/プログラム層のボトルネックを切り分け。 - Scheduling Goodput は全ジョブサイズで **>95%**。Extra-large（O(1k) chips）と small ジョブが最もスケジュールしやすい。 - Program Goodput 最適化: 通信・計算オーバーラップで 500B params・1024 TPU で最大 **1.38× スループット・72% FLOPS 利用率**。XLA algebraic simplification で上位 150 ワークロードの PG が約 1.06–1.07× 向上、CATWILD が TPU 訓練フリートの約 70% を継続チューニング。 - Takeaway: MPG はチェックポイント済み作業を追跡し実実行時間を理論ピークと比較して forward progress を測る、vendor-agnostic（Slurm/K8s, PyTorch/JAX, XLA/Triton）な方法論。 #### Poster Session 3 (18:00 - 20:00　Evergreen Ballroom) ### Day 5 (May 22 / Fri) #### Industry Track Oral: Compilers/HW (08:15 - 09:15　Grand Ballroom 1) > [!note] セッション構成について > MLSys2026 Industry Track の Oral Presentation セッション（司会 Phitchaya Phothilimthana、公式カレンダー session/3721）。各トークの個別ノートは論文 PDF とスライド PDF（取得可能な場合）に基づき作成（音声文字起こし無しのため Q&A セクション無し）。発表順は公式カレンダー準拠。 ##### Dataflow Is All You Need / Darshan Gandhi（08:15–08:30、Industry Track Oral） > [[2026__MLSys2026__Dataflow Is All You Need|詳細メモはこちら]]（登壇者: Darshan Gandhi / SambaNova Systems） - GPU デコードではカーネル同期・演算通信重複不足により HBM 帯域の 21% しか活用できない問題を定量化し、データフローアーキテクチャ（SN40 RDU）による根本解決を提案。 - コンパイラ最適化 KernelLooping（カーネル呼び出しを 320→4 に圧縮、幾何平均 1.6 倍）・BatchStreaming（デコーダ層間の同期排除、最大 1.4 倍）・ScheduleOffloading（ホスト介入排除、最大 1.9 倍）の 3 手法を導入。 - 理論ルーフライン性能の 75% 超を広範なオープンソースモデル（Llama・Qwen・Mixtral・DeepSeek・GPT-OSS）で達成。 - 投機的デコーディングで単体モデル比 6 倍超の高速化、同等 HBM 帯域の DGX H100 に対し 1.7 倍のスループットを実証。 - 全手法は SambaNova Cloud (cloud.sambanova.ai) の本番推論基盤にデプロイ済み。 ##### Efficient, VRAM-Constrained xLM Inference on Clients / Aditya Ukarande（08:30–08:45、Industry Track Oral） > [[2026__MLSys2026__Efficient VRAM-Constrained xLM Inference on Clients|詳細メモはこちら]]（登壇者: Aditya Ukarande / NVIDIA） - NVIDIA が提案するパイプラインシャーディングは、ベンチマークプロファイル駆動の CPU-GPU ハイブリッドスケジューリング技術であり、任意の VRAM 予算でロスレスな xLM 推論を実現する（llama.cpp 実装、C++、オープンソース）。 - サブレイヤー粒度の分割と 3 種のスケジュールプラン（GPU-only / Static / Dynamic）をトークンティアごとに自動選択し、インタラクティブモードで TTFT 最大 6.7 倍・TPS 最大 30 倍、バッチモードで最大 8.2 倍のスループット向上を達成。 - qwen235b（77 GB）が 2G VRAM で 7.7 TPS を記録（VRAM フットプリント 39 分の 1）、ゲーム（Cyberpunk 2077）との同時実行でパレート最適点を実証。 - VLMOpt（ビジョンテンソルオフロード + タイル化 FlashAttention + VRAM 重複回避）により Cosmos-Reason1 の VRAM 需要を 20 GB から 2 GB へ 10 倍削減、クライアントでの 1080p 高解像度推論を初めて可能に。 - ACM Artifact Evaluation 3 バッジ取得、RTX 3500/5070 Ti/5090 の 3 クライアント SKU で密結合・MoE 双方の LLM および VLM を網羅的に評価。 ##### Wave: A Symbolic Python DSL And Compiler for High-Performance Machine Learning / Harsh Menon（08:45–09:00、Industry Track Oral） > [[2026__MLSys2026__Wave A Symbolic Python DSL And Compiler for High-Performance Machine Learning|詳細メモはこちら]]（登壇者: Harsh Menon / AMD） - AMD 行列コア向けの Python 組み込みカーネル DSL Wave を提案。ウェーブ/サブグループレベルのプログラミングモデルで暗黙インデキシングとシンボリックマッピングを採用し、アドレス計算をコンパイラが自動導出する。 - 同一カーネルソースから制約リストの変更のみで MI300X/MI325X(CDNA3)と RX9070XT(RDNA4)に移植可能。タイルサイズ・MMA 変種の変更もカーネル本体に触れない。 - MI300X アテンションで PyTorch 比最大 2.9 倍、Triton 比最大 2.5 倍のスループット。573 形状の GEMM で Triton より概ね高速、PyTorch(compile) より約 60% のケースで高速。 - コンパイルパイプラインは `torch.fx` → MLIR/LLVM で、ロード粗粒化・ソフトウェアパイプライニング・ワークグループ並べ替えの各最適化を実装。 - オープンソース(github.com/iree-org/wave)。SGLang のアテンションバックエンドとして統合済み。 ##### CATWILD: Compiler Autotuning for TPU Workloads in the Wild / Ignacio Cano（09:00–09:15、Industry Track Oral） > [[2026__MLSys2026__CATWILD Compiler Autotuning for TPU Workloads in the Wild|詳細メモはこちら]]（登壇者: Ignacio Cano / Google） - Google TPU フリートの ML ジョブに対し XLA コンパイラ構成を自動チューニングするシステム CATWILD を提案。データセンタ規模で展開された初の ML コンパイラ自動チューニングソリューション。 - 3 サブシステム（Fleet Profiling・Autotuner・Fleet Delivery）で構成。グラフレベルフラグチューニングで 5–15%、オペレベルタイルサイズ選択で 10–25% の平均高速化を達成。 - 単一チップ性能予測器（平均誤差 2–5%）により大規模ジョブのチューニングコストを抑制。チューニング操作の節約比率は 8:1–30:1。 - TPU 訓練フリートの約 70% を日次でチューニングし、顕著なチップ節約を実現。5 年間の運用知見（リモート構成、数値リスク、粗粒度チューニングの優位性）を報告。 #### Research Track Oral: Efficient Computation (08:15 - 09:15　Grand Ballroom 2) > [!note] セッション構成について > MLSys2026 Research Track の Oral Presentation セッション（司会 Aniruddh Ramrakhyani、公式カレンダー session/3722）。Industry Track Oral: Compilers/HW（Grand Ballroom 1）と並行開催。各トークの個別ノートは論文 PDF とスライド PDF（取得可能な場合）に基づき作成（音声文字起こし無しのため Q&A セクション無し）。 ##### Spira: Exploiting Voxel Data Structural Properties for Efficient Sparse Convolution in Point Cloud Networks / Dionysios Adamopoulos（08:15–08:30） > [[2026__MLSys2026__Spira Exploiting Voxel Data Structural Properties for Efficient Sparse Convolution in Point Cloud Networks|詳細メモはこちら]]（登壇者: Dionysios Adamopoulos / MPI-SWS・NTUA） - テーゼ: ボクセル座標の 3 つの構造的性質（整数性・有界性・幾何的連続性）を活用し、GPU 向け初のボクセル性質考慮型スパース畳み込みエンジン Spira を設計。 - ワンショット Z-Delta 探索アルゴリズムにより前処理不要・高データ局所性のカーネルマップ構築を実現。既存探索比で Minuet 比最大 2.85 倍、TorchSparse++ 比最大 9.49 倍の高速化。 - パックドネイティブ処理（3 座標を 32 bit にパック、メモリ約 3 倍削減）と適応型デュアルデータフロー（L1 ノルム閾値で密/疎を動的切替）を組み合わせる。 - エンドツーエンド推論で既存最先端 SpC エンジン比 平均 **1.68 倍**・最大 **3.04 倍**、レイヤー単位で平均 **2.11 倍**・最大 **3.44 倍** の高速化。 - OSS: github.com/SPIN-Research-Group/Spira。ACM Artifacts Available / Evaluated-Functional / Results Reproduced バッジ取得。 ##### Attribution-based Sparse Activation in Large Language Models / Xiangyu Yin（08:30–08:45） > [[2026__MLSys2026__Attribution-based Sparse Activation in Large Language Models|詳細メモはこちら]]（登壇者: Xiangyu Yin / University of Pittsburgh） - テーゼ: 帰属スコア（attribution score）の低いニューロンを非活性化する有損失スパースアクティベーション。再訓練不要で入力依存に実行時適応し、精度と計算コストの最良トレードオフを目指す。 - 既存帰属指標（GxO 等）はニューロン間の相互依存性による大きな誤差を持つ。活性化率 0.2 で帰属スコア変化率が約 500% に達する問題を定量化し、証明付きで補正する Corrected GxO 指標を提案。 - 質問応答・テキスト要約などの困難な生成タスクで、モデル精度損失 5% 未満のまま最大 **70% のモデルスパーシティ** を達成。 - Phi-2 で計算レイテンシ **35% 削減**（1.59s→1.06s）、メモリ使用量 **43% 削減**（13.76GB→7.91GB）。Llama-3-8B でレイテンシ **43% 削減**。 - 5 モデル・5 タスクの全構成で Corrected GxO が既存帰属指標（GxO, DeepLift, IG 等）を上回るかタイ。 ##### Flashlight: PyTorch Compiler Extensions to Accelerate Attention Variants / Bozhi You（08:45–09:00） > [[2026__MLSys2026__Flashlight PyTorch Compiler Extensions to Accelerate Attention Variants|詳細メモはこちら]]（登壇者: Bozhi You / UT Austin。共著: Georgia Tech、Microsoft） - テーゼ: 静的テンプレートに依存せず、PyTorch コンパイルワークフロー（TorchInductor）で任意のアテンション変種に対し FlashAttention スタイルの融合カーネルを自動生成するコンパイラネイティブフレームワーク。 - 4 つの中核コンパイラ変換: 統一リダクション IR、代数的変換（安定 softmax→オンライン softmax 自動変換）、次元降格、タイリング対応次元除去。FlexAttention の全変種に加え、データ依存アテンション（DiffAttn 等）もサポート。 - FlexAttention 対応変種で同等以上の性能。Softcap で **1.41–1.48 倍**、Causal で block_mask 構築込み **1.22–4.51 倍** 高速。 - DiffAttn で torch.compile 比 **4.51–5.78 倍**、Evoformer で最大 **7.90 倍** の高速化。AlphaFold2 エンドツーエンド推論レイテンシ 6–9% 改善。 - OSS: github.com/bozhiyou/flashlight。ACM Artifacts バッジ 3 種取得。 ##### FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling / Ted Zadouri（09:00–09:15） > [[2026__MLSys2026__FlashAttention-4 Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling|詳細メモはこちら]]（登壇者: Ted Zadouri / Princeton University・Together AI。共著: Meta、Colfax Research、Georgia Tech） - テーゼ: Blackwell GPU の非対称ハードウェアスケーリング（テンソルコア 2 倍増だが SMEM 帯域・MUFU 据置き）に対処するアテンションカーネル。アルゴリズムとカーネルパイプラインの協調設計。 - 3 つの主要技術: (1) 完全非同期 MMA と拡大タイルサイズによるパイプライン再設計、(2) 指数演算のソフトウェアエミュレーションと条件付き softmax 再スケーリング（各行の 10–25% のみ部分エミュレーション）、(3) テンソルメモリ・2-CTA MMA モードによる逆伝播の SMEM トラフィック削減。 - B200 GPU で BF16 において cuDNN 9.13 比最大 **1.3 倍**、Triton 比最大 **2.7 倍** の高速化。最大 **1613 TFLOPs/s**（利用率 71%）。 - CuTe-DSL（Python 埋め込み）による実装で、C++ テンプレート比 コンパイル時間 **20–30 倍高速**（順伝播 55s→2.5s、逆伝播 45s→1.4s）。 - FlashAttention シリーズの最新作。BLASST 等の後続研究が本手法の warp specialization 上に構築。コード: github.com/Dao-AILab/flash-attention。 #### Keynote: The Path to Inference Efficiency / Christos Kozyrakis (09:45) > #### Competition Track: Google / NVIDIA / Amazon (11:00) - #### Social: Ice Cream Social (NVIDIA) (13:30 - 15:00　Juniper room) ## Networking - ## Notes & Thoughts