# LLMサービングワークロード特性化 ## 定義 LLMサービングワークロード特性化とは、本番 LLM 推論サービングシステムに投入される実際のリクエスト群(到着パターン・入出力長分布・マルチモーダル入力・推論トークン構成など)を、単なるベンチマーク入力としてではなく、システム設計・評価の対象そのものとして定量的に分析する営みである。一般的な[[ワークロードの特性の把握]](systems performance のメソドロジ)を LLM サービングというドメインに特化して適用したものと位置づけられ、到着プロセス(バースト性・CV)と入出力長分布(べき乗則・Exponential 等)のモデル化に加え、LLM 特有の軸——マルチモーダル入力の異質性、推論モデルの reason/answer トークン分離、マルチターン会話パターン——を扱う。(Source: [[@2026__NSDI__ServeGen - Workload Characterization and Generation of Large Language Model Serving in Production]]) **クライアント分解(Client Decomposition)**は、この分野で共有される中心的な分析手法である。ワークロード全体を単一の集約された確率過程としてモデル化するのではなく、個々のクライアント(エンドユーザーまたは上流アプリケーション)単位に分解し、ワークロード全体の複雑な変動パターン(バースト性の時間シフト、入出力長分布の時間シフト)の多くが少数の「上位クライアント」のレート変動に起因する因果構造として説明できることを示す。(Source: [[@2026__NSDI__ServeGen - Workload Characterization and Generation of Large Language Model Serving in Production]]) ## 横断的知見 - **ワークロード生成の精度は、システム設計評価の結論そのものを左右しうる**: [[ServeGen]] 論文([[@2026__NSDI__ServeGen - Workload Characterization and Generation of Large Language Model Serving in Production]])は、到着トレースとデータセットを独立に単純合成する「NAIVE」なワークロード生成が、実ワークロードより見かけ上「処理しやすい」ワークロードを生むことを、インスタンスプロビジョニング(NAIVE は必要台数を50%過小算出)と[[Prefill-Decode分離]]の構成選択(3設定中2設定で NAIVE と ServeGen が異なる最良 PD 構成を報告)の両方で定量的に示した。これは、ワークロード特性化がシステム設計論文の「前提条件」ではなく、結論の正しさそのものに影響する変数であることを意味する。 - **べき乗則的な入力長分布とExponentialな出力長分布という組み合わせは、LLM サービングワークロードに共通する形状だが、パラメータは時間帯で大きく変動する**: ServeGen は入力長を Pareto+Log-normal混合、出力長をExponential(記憶を持たない、すなわち既生成長に非依存)としてモデル化する一方、この形状自体は時間帯を通じて概ね安定するのに対し、パラメータ(平均長)は最大1.63倍(入力)・1.46倍(出力)まで時間帯でシフトすることを報告した。この「形状は安定・パラメータは変動」という構造は、単発の分布フィッティングでは捉えられず、時間分解した分析を要求する。 - **推論モデル(reasoning model)のワークロードは、reason/answerトークンの分離という新しい軸を持ち、既存の入出力長モデリングをそのまま適用できない**: deepseek-r1 ワークロードでは、reason 長が answer 長の平均約4倍に達し、両者の比率(answer/output)が明確な双峰分布を示す。この双峰性は「より完全な回答」と「より簡潔な回答」という2つの支配的タスクパターンに由来し、単一の分布(Exponential 等)ではモデル化できない。この知見は、LLM サービングワークロード特性化が言語モデル向けのモデリング手法をそのまま推論モデルへ転用できないことを示す。 - **推論ワークロードの到着は非バースト的だが、その理由はマルチターン会話の再帰構造にある**: deepseek-r1・deepqwen-r1 の到着パターンは Exponential(Poisson過程)によく適合し CV≈1 であり、これは §3 の言語モデルワークロード(CV>1のバースト性)と対照的である。ServeGen はこの違いを、推論ワークロードにおけるマルチターン会話の高い比率(約10%)に帰属させ、会話間到着時間(ITT)分布を保存したアップサンプリングが元のワークロード同等以上に安定することを実証した。これは、到着パターンのバースト性が推論の有無そのものではなく、会話構造という媒介変数によって説明されることを示唆する。 ## 未解決の問い - クライアント分解による因果モデリングは、LLM サービング以外のワークロード(一般的なクラウドコンピューティング、[[HPCワークロード特性化]])における「テナント」「利用者」単位の分解とどこまで概念を共有し、どこで分岐するか。[[ワークロードの特性の把握]]の4問い(誰が・なぜ・何を・どう変化するか)の「誰が」に相当する軸が、LLM サービングでは「クライアント」という単位でここまで定量的に扱われている点は、一般的な systems performance のメソドロジとどう接続できるか。 - プラグイン呼び出し(外部関数・Web検索・DBクエリを伴う複雑な LLM アプリケーション)やプレフィックスキャッシングを伴うワークロードの特性化は、ServeGen 論文自身が Limitations として明示的に残した未解決課題である。これらはクライアント分解の枠組みにどう統合されるべきか。 - ServeGen が示した「ワークロード生成精度がシステム設計評価の結論を左右する」という知見は、PD分離以外のシステム設計判断(例: バッチングポリシー、スケジューリングアルゴリズム、オートスケーリング閾値)にどこまで一般化するか。 - BurstGPT が報告する入出力長の正相関を ServeGen は「そこまで明確でない」としており、両者の差異はデータソース(BurstGPT vs Alibaba Cloud Model Studio)由来かワークロード種別由来か、明確な切り分けがなされていない。 ## 関連 - [[@2026__NSDI__ServeGen - Workload Characterization and Generation of Large Language Model Serving in Production]] — 4か月・12モデル・35.4億リクエストの本番実測に基づく特性化とワークロード生成フレームワーク ServeGen。 - [[ServeGen]] — 本概念の中心的なワークロード生成フレームワーク実装。 - [[BurstGPT]] — 先行する LLM サービングワークロークデータセット(2日間・529万リクエスト)。 - [[ワークロードの特性の把握]] — 一般的な systems performance のワークロード特性化メソドロジ。LLM サービングドメインでの特化事例として本概念と接続する。 - [[Prefill-Decode分離]] — ワークロード生成精度がシステム設計評価(PD構成選択)の結論を左右する具体的なケーススタディの対象。 ## 出典 - [[@2026__NSDI__ServeGen - Workload Characterization and Generation of Large Language Model Serving in Production]](Alibaba Group / Peking University、NSDI '26。本番4か月・35.4億リクエストの特性化とクライアント分解、ワークロード生成フレームワーク ServeGen)