# MLSys2026: wiki 知識ベース対照レポート ## このレポートの読み方 MLSys は、機械学習モデルそのものだけでなく、モデルを速く、安く、安定して動かすためのシステムを扱う分野である。 大規模言語モデルでは、計算機資源、通信、メモリ、障害対応、推論の待ち時間が研究対象になる。 このレポートは、`wiki/concepts/` に蓄積された MLSys 関連知識と、MLSys2026（2026年5月17日から22日、サンタクララ）の発表群を対照する。 目的は二つある。 一つは、wiki がすでに押さえている領域を確認することである。 もう一つは、MLSys2026 で目立ったが wiki ではまだ薄い領域を見つけることである。 調査では、wiki の MLSys 関連概念ページ24件を読み、MLSys2026 の約120件の発表ノート（[[MLSys2026]]）と照合した。 対象にした主な wiki ページは、[[LLM推論]]、[[LLMサービング管理]]、[[KVキャッシュ管理]]、[[Prefill-Decode分離]]、[[FlashAttention]]、[[Mixture-of-Experts]]、[[条件付き計算]]、[[カーネルフュージョン]]、[[LLM分散学習]]、[[並列化戦略]]、[[テンソル並列]]、[[シーケンス並列化]]、[[パイプライン並列化]]、[[混合精度訓練]]、[[ZeROメモリ最適化]]、[[選択的活性化再計算]]、[[計算最適訓練]]、[[GPUクラスタ運用]]、[[GPUレジリエンス]]、[[耐障害LLM訓練]]、[[弾性LLM訓練]]、[[ストラグラー]]、[[集合通信]]、[[スケーリング則]]である。 ## 先に押さえる用語 初学者が読み進めるために、このレポートで頻出する語を先に整理する。 - **推論**：学習済みモデルに入力を与え、出力を生成する処理である。 - **サービング**：推論を利用者に提供するシステム全体である。 - **プレフィル**：入力プロンプトを一括で処理し、後続の生成に必要な状態を作る段階である。 - **デコード**：一トークンずつ出力を生成する段階である。 - **KV キャッシュ**：過去トークンの計算結果を保存し、同じ計算を繰り返さないためのメモリ上のデータである。 - **グッドプット**：単なる処理量ではなく、サービス目標を満たした有効な処理量である。 - **分散学習**：複数の GPU や TPU を使ってモデルを学習する方法である。 - **並列化**：巨大な計算を複数の装置に分ける方法である。 - **MoE**：Mixture-of-Experts の略で、入力ごとに一部の専門家モジュールだけを使うモデル構造である。 - **ストラグラー**：遅い装置や処理が全体の進行を止める現象である。 ## wiki 知識マップ wiki の MLSys 関連知識は、四つの柱に整理できる。 第一の柱は、推論とサービングである。 [[LLM推論]]を起点に、[[KVキャッシュ管理]]、[[Prefill-Decode分離]]、[[LLMサービング管理]]、[[FlashAttention]]がつながっている。 この領域では、モデルを「どう賢くするか」よりも、同じモデルを「どう速く安定して動かすか」が中心になる。 wiki は PagedAttention から AIBrix までの流れを整理しており、グッドプットを実用上の評価指標として扱っている。 第二の柱は、分散学習と並列化である。 [[LLM分散学習]]、[[並列化戦略]]、[[テンソル並列]]、[[シーケンス並列化]]、[[パイプライン並列化]]、[[混合精度訓練]]、[[ZeROメモリ最適化]]、[[選択的活性化再計算]]、[[計算最適訓練]]がこの柱に入る。 巨大モデルの訓練では、一台の計算機にモデルもデータも収まらない。 そのため、計算、メモリ、通信をどう分けるかが主要な問題になる。 wiki では、MegaScale、Astral、ByteDance の事例を通じて、10,000 GPU を超える訓練で必要になる実践知が整理されている。 第三の柱は、クラスタ運用と耐障害性である。 [[GPUクラスタ運用]]、[[GPUレジリエンス]]、[[耐障害LLM訓練]]、[[弾性LLM訓練]]、[[ストラグラー]]、[[集合通信]]が相互に結ばれている。 大規模訓練では、どこかの GPU やネットワークが遅くなっただけで全体が止まる。 wiki は、GPU 障害の多さ、fail-stop と fail-slow の違い、チェックポイント戦略を整理している。 第四の柱は、MoE と条件付き計算である。 [[Mixture-of-Experts]]と[[条件付き計算]]は、Shazeer 2017 から DeepSeek-V4 までの流れを追っている。 MoE は、すべての入力に同じ計算をするのではなく、必要な専門家だけを使って計算量を抑える方法である。 一方で、どの専門家を使うかを決めるルーティング、All-to-All 通信、負荷分散が新しいボトルネックになる。 ## 領域別の対照 ### LLM サービングと推論最適化 wiki は、プレフィルとデコードを分ける設計、グッドプット指標、投機的デコーディング、KV キャッシュ削減を整理している。 この土台は MLSys2026 の中心議論とよく対応している。 MLSys2026 では、サービング領域に LLM Serving 1 から 6 までのセッションが割かれた。 これは、推論を実サービスとして効率よく動かす問題が MLSys の主要テーマになっていることを示す。 - **構造化出力の推論コスト**：[[2026__MLSys2026__Efficient Structured Generation with Constrained Speculative Decoding|Efficient Structured Generation]] は、JSON や SQL のような構文制約付き生成で、投機的デコーディングの受理率が下がる問題を扱った。 wiki の投機的デコーディング記述は自由形式のテキスト生成を前提にしており、構造化出力の制約はまだ薄い。 - **プロンプト処理の最適化**：[[2026__MLSys2026__Prompt Lookup Decoding is Not All You Need|Prompt Lookup Decoding]] と [[2026__MLSys2026__Input Prompt Length Prediction for Optimizing LLM Serving|Input Prompt Length Prediction]] は、入力プロンプト側の性質を使って推論を速くする方向を示した。 wiki は生成側の最適化を厚く扱っているが、プロンプト側の最適化はまだ整理が必要である。 - **サービングの公平性**：[[2026__MLSys2026__A Fair and Efficient Disaggregated LLM Serving|Fair and Efficient Disaggregated LLM Serving]] は、プレフィルとデコードを分けた環境で、利用者間の公平性をどう保つかを扱った。 wiki の [[KVキャッシュ管理]] でも「キャッシュを優先するスケジューリングと公平性の衝突」がギャップとして挙げられており、この発表はその論点に直接対応する。 - **量子化サービング**：[[2026__MLSys2026__Atom - Low-bit Quantization for Efficient and Accurate LLM Serving|Atom]] と [[2026__MLSys2026__Efficient VRAM-Constrained xLM Inference on Clients|VRAM-Constrained xLM Inference]] は、低ビット量子化や限られた VRAM での推論を扱った。 wiki には量子化の専用概念ページがまだない。 ### KV キャッシュと長コンテキスト [[KVキャッシュ管理]]は、wiki の中でも特に充実しているページである。 PagedAttention、RadixAttention、LMCache、P-D-Serve、AIBrix の流れが整理されている。 本番環境の KV キャッシュヒット率がベンチマークより低いという観測も記録されている。 MLSys2026 では、KV キャッシュの前提を広げる発表が目立った。 - **クロスアテンションとキャッシュ**：[[2026__MLSys2026__Cross-Attention Makes Inference Caches More Effective|Cross-Attention Inference Caches]] は、クロスアテンション構造でキャッシュが効きやすくなることを示した。 wiki はデコーダ専用モデルを主な前提にしているため、クロスアテンションでのキャッシュ管理は未整理である。 - **キャッシュ圧縮の多様化**：[[2026__MLSys2026__Dynamic Token Pruning for Efficient KV Cache Compression|Dynamic Token Pruning]] は、トークン単位で KV キャッシュを動的に刈り込む手法を提案した。 これは、圧縮が品質や再現性に与える影響という wiki 側のギャップに関わる。 ### 分散学習と並列化 wiki は、データ並列、テンソル並列、パイプライン並列、シーケンス並列、エキスパート並列を整理している。 これらは、巨大モデルを複数の計算装置に分けるための基本語彙である。 MLSys2026 では、従来の並列化を現実の計算環境に合わせて拡張する発表が多かった。 - **異種 GPU 混合訓練**：[[2026__MLSys2026__Communication-Efficient and Tensor-Parallel Distributed Training over Heterogeneous Accelerators|Communication-Efficient Heterogeneous Training]] と [[2026__MLSys2026__MindPalace Training on Heterogeneous GPU Clusters with Balanced Pipeline Partitioning|MindPalace]] は、H100 と A100 のような性能の異なる GPU が混ざる環境を扱った。 wiki は均質なクラスタを主な前提にしており、異種環境での並列化戦略は薄い。 - **コンテキスト並列**：[[2026__MLSys2026__LoongTrain - Efficient Training of Long-Sequence LLMs with Head-Context Parallelism|LoongTrain]] は、Head-Context Parallelism によって長系列訓練を効率化した。 wiki の [[シーケンス並列化]] は推論時の手法が中心であり、訓練時の長コンテキスト並列は補強が必要である。 - **FP4 訓練**：[[2026__MLSys2026__Training with FP4|Training with FP4]] は、FP4 精度での訓練可能性を示した。 wiki の [[混合精度訓練]] は FP16、BF16、FP8 を扱っているが、FP4 は未記載である。 - **自動並列化**：[[2026__MLSys2026__AXLearn Modular Hardware-Agnostic Large Model Training|AXLearn]] は、ハードウェアに依存しにくい訓練フレームワークを提案した。 wiki は個別の並列化戦略を扱っているが、自動化とフレームワーク層の概念ページはまだない。 ### MoE と条件付き計算 wiki の [[Mixture-of-Experts]] は、ゲーティング関数、All-to-All 通信、スパーシティスケーリング則を整理している。 初学者向けに言えば、MoE の狙いは「必要な部分だけ計算して大きなモデルを安く動かす」ことである。 ただし、必要な専門家だけを選ぶ設計にした結果、専門家間の通信と負荷分散が難しくなる。 MLSys2026 では、この通信と負荷分散を現実のクラスタ上でどう扱うかが焦点になった。 - **MoE ルーティングと負荷分散**：[[2026__MLSys2026__Lancet - Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping|Lancet]] は、計算と通信を重ねることで MoE 訓練を速くする方法を提案した。 wiki が課題として挙げていた All-to-All と負荷分散の同時最適化に関わる。 - **MoE 推論最適化**：[[2026__MLSys2026__EPS-MoE Communication-Efficient Expert Parallelism with Expert-Level Pipeline Scheduling|EPS-MoE]] は、専門家単位のパイプラインスケジューリングで通信効率を改善した。 wiki は MoE 推論のボトルネックとしてディスク I/O を記録しているが、MLSys2026 ではクラウド環境のネットワーク通信も同じく重要な課題として扱われた。 - **非 MoE の条件付き計算**：[[2026__MLSys2026__Attribution-based Sparse Activation in Large Language Models|Attribution-based Sparse Activation]] は、帰属スコアを使って一部のニューロンを動かさない手法を提案した。 これは、MoE 以外の条件付き計算が LLM でなぜ広がりにくいのかという wiki 側のギャップに対する一つの回答である。 ### クラスタ運用と耐障害性 wiki は、GPU 障害の多さ、ワークロード特性の変化、チェックポイント戦略、fail-slow の検知を整理している。 大規模学習では、平均的な性能だけでなく、遅い個体や故障した個体をどう検知して回復するかが重要になる。 MLSys2026 では、運用を測るための指標と観測基盤が目立った。 - **訓練側のグッドプット**：[[2026__MLSys2026__Machine Learning Fleet Efficiency - Improving TPU Systems at Scale with ML Productivity Goodput|ML Productivity Goodput]] は、MPG を SG、RG、PG の三要素に分解した。 これは「装置が忙しいこと」と「学習が進んでいること」を分けて測るための枠組みである。 wiki はグッドプットを推論側の指標として主に扱っており、訓練側の分解はまだ記録していない。 - **プロファイリング基盤**：[[2026__MLSys2026__XProf - An Open Scalable and Extensible Profiling System for the Modern ML Stack|XProf]] は、数千 TPU 規模のフルスタックプロファイラを報告した。 wiki にはプロファイリングや可観測性の専用概念ページがない。 - **コンパイラ自動チューニング**：[[2026__MLSys2026__CATWILD Compiler Autotuning for TPU Workloads in the Wild|CATWILD]] は、TPU フリートの多くを日次でチューニングする本番システムを報告した。 wiki の [[カーネルフュージョン]] はカーネル単位の最適化を扱うが、フリート規模のコンパイラ自動チューニングは範囲外である。 ### アテンションとデコーディング高速化 [[FlashAttention]]は、wiki でよく整理されている概念である。 FA1 から FA4 まで、主な制約が HBM 帯域、ワーク分割、非同期 GEMM、共有メモリ帯域と指数関数ユニットへ移る流れが記録されている。 MLSys2026 では、手書きカーネルの改善だけでなく、コンパイラや非 GPU アーキテクチャを使う方向も出てきた。 - **コンパイラ駆動のアテンション融合**：[[2026__MLSys2026__Flashlight PyTorch Compiler Extensions to Accelerate Attention Variants|Flashlight]] は、任意のアテンション変種に対して FlashAttention 型の融合カーネルを自動生成する方法を提案した。 wiki の [[FlashAttention]] は手書きカーネルの系譜を中心にしているため、コンパイラによる自動融合は補強対象である。 - **線形アテンション**：[[2026__MLSys2026__The Illusion of Linear Attention|The Illusion of Linear Attention]] は、線形アテンションの実効性を検証した。 wiki がギャップとして挙げていた「サブ二次アーキテクチャとの性能交差点」に直接関わる。 - **データフローアーキテクチャ**：[[2026__MLSys2026__Dataflow Is All You Need|Dataflow Is All You Need]] は、SambaNova RDU によるデータフロー型推論を提案した。 wiki は GPU 前提の最適化が中心であり、非 GPU アーキテクチャの議論は薄い。 ### エッジとオンデバイス推論 wiki の [[LLM推論]] はエッジ推論に触れているが、専用概念ページはない。 エッジ推論では、データセンターではなく端末や小型機器でモデルを動かす。 そのため、VRAM、消費電力、ストレージ I/O、プロファイリングの軽さが問題になる。 MLSys2026 では、この領域が一つの重要テーマとして現れた。 - [[2026__MLSys2026__Efficient VRAM-Constrained xLM Inference on Clients|VRAM-Constrained xLM Inference]] は、パイプラインシャーディングで 77GB モデルを 2GB VRAM 環境で動かした。 - [[2026__MLSys2026__ProfInfer - An eBPF-based Fine-Grained LLM Inference Profiler|ProfInfer]] は、eBPF ベースの軽量プロファイラで Orange Pi や Rubik Pi 上の推論ボトルネックを可視化した。 - [[2026__MLSys2026__Spira Exploiting Voxel Data Structural Properties for Efficient Sparse Convolution in Point Cloud Networks|Spira]] は、ポイントクラウドネットワークのスパース畳み込みを高速化した。 ### エージェント AI システム wiki には、エージェント AI やエージェント推論に関する概念ページがない。 エージェント AI では、モデルが一回の応答を返すだけでなく、計画、ツール利用、外部環境とのやり取りを繰り返す。 そのため、通常の推論よりもキャッシュ、遅延、セキュリティ、監視が複雑になる。 MLSys2026 では、Agentic AI の専用セッションが設けられた。 - [[2026__MLSys2026__ADR - An Agentic Detection System for Enterprise Agentic AI Security|ADR]] は、企業向けエージェント AI のセキュリティ検知システムを提案した。 - [[2026__MLSys2026__AgenticCache Cache-Driven Asynchronous Planning for Embodied AI Agents|AgenticCache]] は、キャッシュ駆動の非同期プランニングでエージェント推論の待ち時間を削減した。 - [[2026__MLSys2026__AIRS - Scaling Live Inference in Resource Constrained Environments|AIRS]] は、Google 検索品質評価で日次1億件以上の LLM 評定パイプラインを報告した。 ## wiki のギャップ一覧 MLSys2026 で重要に扱われたが、wiki に専用概念ページがない領域を整理する。 | 領域 | MLSys2026 での扱い | 推定重要度 | |------|-------------------|-----------| | **量子化** | FP4 訓練、低ビット量子化サービング、VRAM 制約推論で複数発表があった | 高 | | **投機的デコーディング** | 制約付き投機的デコーディング、スパース自己投機的デコーディングなどが発表された | 高 | | **エージェント AI 推論基盤** | セキュリティ、キャッシュ、プランニングを扱う専用セッションがあった | 高 | | **コンパイラとグラフ最適化** | CATWILD、Wave、Flashlight、ApproxMLIR など複数発表があった | 高 | | **エッジとオンデバイス推論** | VRAM 制約推論、eBPF プロファイラ、ポイントクラウド処理が扱われた | 中 | | **ML プロファイリングと可観測性** | XProf、ProfInfer、Chakra が大規模観測の基盤を扱った | 中 | | **異種 GPU クラスタ訓練** | 異種アクセラレータ間通信とヘテロジニアスなパイプライン分割が扱われた | 中 | | **LoRA とパラメータ効率的ファインチューニング** | 複数発表で言及されたが、専用セッションはなかった | 中 | | **構造化出力生成** | 制約付きデコーディングと JSON/SQL 生成の効率化が扱われた | 低から中 | | **訓練データ品質と選択** | データ混合とカリキュラム学習で散発的に言及された | 低 | ## 推奨 ingest 候補 wiki の知識ベースを MLSys2026 の知見で補強するなら、次の論文を優先するとよい。 ### 最優先 1. [[2026__MLSys2026__FlashAttention-4 Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling|FlashAttention-4]] [[FlashAttention]]ページの FA4 記述を一次ソースで裏付けられる。 2. [[2026__MLSys2026__Machine Learning Fleet Efficiency - Improving TPU Systems at Scale with ML Productivity Goodput|ML Productivity Goodput]] 訓練側グッドプットの枠組みを追加でき、[[GPUクラスタ運用]]の拡張に直結する。 3. [[2026__MLSys2026__Guard - Scalable Straggler Detection and Node Health Management for Large-Scale Training|Guard]] [[ストラグラー]]と[[耐障害LLM訓練]]を補強できる。 既に wiki ソースとして参照されているが、詳細 ingest は未実施の可能性がある。 ### 高優先 4. [[2026__MLSys2026__Training with FP4|Training with FP4]] 量子化概念ページの起点になる。 5. [[2026__MLSys2026__Flashlight PyTorch Compiler Extensions to Accelerate Attention Variants|Flashlight]] コンパイラ駆動アテンション融合の概念ページの起点になる。 6. [[2026__MLSys2026__XProf - An Open Scalable and Extensible Profiling System for the Modern ML Stack|XProf]] ML プロファイリング概念ページの起点になる。 7. [[2026__MLSys2026__Lancet - Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping|Lancet]] [[Mixture-of-Experts]]の All-to-All 最適化記述を補強できる。 ### 中優先 8. [[2026__MLSys2026__ADR - An Agentic Detection System for Enterprise Agentic AI Security|ADR]] エージェント AI 基盤の概念ページの起点になる。 9. [[2026__MLSys2026__Efficient VRAM-Constrained xLM Inference on Clients|VRAM-Constrained xLM Inference]] エッジ推論概念ページの起点になる。 10. [[2026__MLSys2026__SAKURAONE - An Open Ethernet-Based AI HPC System and Its Observed Workload Dynamics in a Single-Tenant LLM Development Environment|SAKURAONE]] [[GPUクラスタ運用]]にオープンネットワーキングの視点を追加できる。 ## まとめ wiki の MLSys 関連知識は、推論サービング、KV キャッシュ管理、プレフィルとデコードの分離、分散学習、耐障害性に強い。 MLSys2026 の発表と照合しても、これらの領域は会議の中心的な議論とよく重なっている。 一方で、量子化、投機的デコーディング、エージェント AI 推論基盤、コンパイラ最適化、ML プロファイリングは、wiki ではまだ専用概念ページが不足している。 異種 GPU 混合訓練、FP4 訓練、構造化出力生成のように、既存ページの延長で補強できる技術もある。 したがって、次の整備方針は明確である。 まず、既存概念と直結する FlashAttention-4、ML Productivity Goodput、Guard を取り込む。 次に、量子化、コンパイラ駆動最適化、プロファイリング、エージェント AI 推論基盤の概念ページを新設する。 この順で進めると、wiki は MLSys2026 の主要な変化を無理なく吸収できる。