# 負荷分散 ## 定義 MoE における負荷分散(load balancing)とは、スパースゲーティング時に特定のエキスパートにトークンが集中する「エキスパート崩壊(expert collapse)」「ルーティング崩壊(routing collapse)」を防ぎ、全エキスパートが均等に利用されるよう促す技術群の総称である。 問題の根源は [[Mixture-of-Experts]] のゲーティング関数にある。訓練初期に一部のエキスパートがわずかに優れた出力を返すと、ゲーティング関数がそのエキスパートをさらに選びやすくなり、選ばれ続けたエキスパートだけが強化されるという正のフィードバックが生じる。結果として少数エキスパートが全トークンを担い、残りは実質的に無効化される。 [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]](Shazeer et al., 2017) がこの問題を最初に定式化し、次の 2 つの補助損失を導入した: - **重要度損失(importance loss)**: バッチ内での各エキスパートへのゲート出力の合計の変動係数(coefficient of variation)を最小化する。 - **負荷損失(load loss)**: ノイズゲーティング(ソフトマックスにノイズを加算)でスムージングされた各エキスパートの受け入れトークン数の変動係数を最小化する。 この基盤定式化から、後続研究が解法を 4 つの方向に展開した: | アプローチ | 代表手法 | 特徴 | |---|---|---| | 補助損失(sequence 単位) | Switch Transformer, GShard | シーケンス内の分布を均等化 | | 補助損失(batch 単位) | DeepSeek-V3 の batch-level balance | バッチ単位でバイアスを動的更新 | | ゲーティング関数変更 | MiniMax-M2(sigmoid + bias) | ソフトマックスの正規化制約を除去 | | システム配置最適化 | FasterMoE, SmartMoE, FlexMoE | 人気エキスパートのシャドウイングや動的配置 | ## 横断的知見 - **ネットワーク負荷分散(VLB)と MoE 負荷分散は「ランダム化 vs 学習」という根本的に異なる設計哲学を取る**: [[Valiant Load Balancing]](VLB, [[VL2]], SIGCOMM 2009)はルーティングをランダム化することで任意のトラフィック行列を平均ケースに収束させ、複雑な適応型最適化なしに均一性を保証する。一方 MoE のゲーティングは学習によってトークンを最適なエキスパートへ誘導する設計だが、正のフィードバックにより少数エキスパートへの崩壊(routing collapse)が生じる。VLB のランダム化は MoE における補助損失・シグモイドゲーティングが防ごうとする「偏り」を、そもそも学習に任せないことで根本的に回避している。ただし VLB は最良ケース性能を犠牲にし、MoE のゲーティングは最良ケース性能を最大化しようとする点で目的が異なる。(Source: [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]], [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]]) - **「補助損失 vs ゲーティング設計変更 vs システム配置」という 3 層の解法が 2017–2026 年で出揃った**: Shazeer et al. 2017 の補助損失(モデル訓練層)は Switch Transformer・GShard に継承された。DeepSeek-V3([[@2024__arXiv__DeepSeek-V3 Technical Report]])は補助損失の粒度をシーケンス単位からバッチ単位に変えることで精度を改善(検証損失: シーケンス単位 2.258 vs バッチ単位 2.253)し、MiniMax-M2([[@2026__arXiv__The MiniMax-M2 Series - Mini Activations Unleashing Max Real-World Intelligence]])はシグモイドゲーティング + 学習可能バイアスで補助損失への依存自体を排除した。一方 FasterMoE/SmartMoE([[Efficient Training of Large Language Models on Distributed Infrastructures]])はシャドウイング・動的配置というシステム層で人気エキスパートのキャパシティを増やす方向を取る。同一問題への 3 層の解法は独立に進化しており、統合設計はまだ標準化されていない。(Source: [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]], [[@2024__arXiv__DeepSeek-V3 Technical Report]], [[@2026__arXiv__The MiniMax-M2 Series - Mini Activations Unleashing Max Real-World Intelligence]], [[Efficient Training of Large Language Models on Distributed Infrastructures]]) - **負荷分散の粒度(sequence vs batch)が性能に影響することが 2024 年に定量化された**: DeepSeek-V3 のアブレーションは補助損失の粒度の違いで検証損失に 0.005 の差をもたらすことを示した([[@2024__arXiv__DeepSeek-V3 Technical Report]])。Shazeer et al. 2017 がバッチ単位の変動係数を最小化していたことと対比すると、2024 年の知見は「バッチ単位が優れる」という 2017 年の直感を異なる形で再発見した。ただしDeepSeek-V3 は補助損失を廃止して動的バイアス調整に移行しており、粒度の議論は補助損失の枠内でのみ有効。(Source: [[@2024__arXiv__DeepSeek-V3 Technical Report]], [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]]) - **時系列基盤モデルでの MoE 負荷分散は訓練目的関数の補助損失で対処されており、LLM のシステム層解法は転用されていない**: Time-MOE([[@2025__arXiv__Foundation Models for Time Series - A Survey]])は expert 使用を均衡させる補助損失を最終損失に加えるという Shazeer et al. 2017 の原初的アプローチを踏襲する。時系列ドメイン向けの FasterMoE 的なシステム配置最適化は報告されていない。(Source: [[@2025__arXiv__Foundation Models for Time Series - A Survey]]) - [計算負荷の均一化と熱的均一化の非対称性（熱的負荷分散）] [[@2005__IEEE Internet Computing__Balance of Power - Dynamic Thermal Management for Internet Data Centers]] は、従来の負荷分散（CPU使用率やリクエスト数の均等化）が物理データセンターにおいて均一な温度分布をもたらさないことを示した。ラック列の端部では排熱再循環により中央より約10°C高温になるため、列中央ラックに対する熱倍率（thermal multiplier）を導入し、温度の高いラックの計算負荷を意図的に減らし中央へシフトする「熱的負荷分散（Thermal-Load Balancing）」を定式化。ホットスポットの発生を抑え、空調吹き出し温度の引き上げを通じて最大25%の冷却エネルギー削減を可能にした。これは負荷分散の目的関数が「計算性能やレイテンシの均一化」から「物理・熱的制約の最適化」へと拡張された先駆的事例である(Source: [[@2005__IEEE Internet Computing__Balance of Power - Dynamic Thermal Management for Internet Data Centers]])。 - ロードバランサ自体のスケーラビリティが未整備である。2010 年ごろの Amazon Elastic Load Balancer は LB 自身をスケールさせる仕組みを持たず、著者らは LB の負荷を「p 台の VM に対し O(p) を超えて増えない」ことと定義し、ネットワーク集約型では DNS ロードバランシングへ移る経験則を紹介する。DNS 方式は、全 VM が公開 IP を持つパブリッククラウドでは妥当だが、プライベート・ハイブリッドでは未解決とされる。(Source: [[@2011__SIGCOMM__Dynamically Scaling Applications in the Cloud]]) - [重みの動的調整] 各バックエンドの重みを最初は等しくし、15 分ごとに平均応答時間の差に比例して自動調整する方式は、EC2 で SLO 違反の削減をフィードバック方式の 41.3% から 47.6% へ 6.3 ポイント押し上げた。ただし VM 間の性能差が小さく、大きな不均質環境での効果は未検証である。(Source: [[@2014__CLOSER__Robust Performance Control for Web Applications in the Cloud]]) - [分野差] クラウドデータベースのレプリカ配置・移行(PAM: Packing and Migration)も「負荷分散」と呼ばれるが、本ページが扱うネットワーク層(ECMP/VLB/DNS)や LLM 推論のエキスパートゲーティングとは異なる対象・スケールの問題である。DB レプリカの PAM は [[クラウドデータベースの負荷配置(Packing and Migration)]] を参照(Source: [[@2026__VLDB__A Resource-centric Analysis and Optimization of NoSQL Workloads using Distressed Resource Volume Metric]])。 ## 横断的知見(続き) - **推論時のシステム配置最適化が本番規模で定量実証され、専門家利用分布がフェーズごとに異なることが明らかになった**: 訓練時の負荷分散(補助損失・ゲーティング設計変更)がモデル層で完結するのに対し、[[SGLang]] の 96 H100 GPU 展開([[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]])で使われる [[EPLB]](DeepSeek 開発)は、推論時のシステム配置最適化(冗長エキスパートの配置)としてスループットを Prefill 1.49 倍・Decode 2.54 倍向上させ、バランス度とスループットの強い正相関を実測で示した。さらに専門家利用分布は Prefill と Decode で異なるパターンを示し、フェーズ別の専門家配置に価値があることが確認された。これは FasterMoE・SmartMoE が示した「システム配置最適化」という解法系譜に、訓練時ではなく**推論時**、かつ**フェーズ別配置**という新しい軸を加える。(Source: [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]]) - **ネットワーク負荷分散の内部でも「ランダム化(VLB)対決定論的ハッシュ(ECMP)」という設計の分岐がある**: [[Valiant Load Balancing]] がランダムな中間ノード経由でトラフィックを平均ケースへ収束させるのに対し、*Software-Defined Networks: A Systems Approach* 第7章が報告する SD-Fabric の ECMP は、リーフ-スパイン間のリンク集合に対してパケット転送機構が決定論的に(フローごとに固定の)出力ポートを選ぶことで負荷分散する。SD-Fabric の章は ECMP を「単一の最良出力リンクの代わりにリンク集合へ負荷分散する」戦略として説明し、経路の事前計算(セグメントルーティング)とは独立に、SDN コントローラがポートグループをスイッチへ投入した後は追加の制御プレーン関与なしにスイッチが自律適用する。VLB がランダム化によって偏りを構造的に回避するのに対し、ECMP はフローハッシュに基づく決定論的な分散であり、両者は同じ「ネットワーク内トラフィックの均等化」という目的に対する異なる実装戦略として対比できる。この対比は、本ページ冒頭の VLB 対 MoE ゲーティング(ランダム化 vs 学習)という軸に、ECMP という「決定論的ハッシュ」という第三の軸を加える。(Source: [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]], [[@2021__SystemsApproach__Software-Defined Networks - A Systems Approach - Chapter 7 Leaf-Spine Fabric]]) - **アプリケーション層の情報(HTTPリファラ)に基づくコンテンツ単位の負荷分散は、VLBのランダム化・ECMPの決定論的ハッシュ・MoEの学習型ゲーティングのいずれとも異なる第四の軸を加える**: 『ウェブオペレーション』9章(2011年)は、2006年のYahoo! 経由トラフィック急増への対応として、HTTPリファラに`yahoo.com`を含むリクエストだけをロードバランサで振り分け、静的スナップショットサーバへ誘導する一方、それ以外の常連ユーザのリクエストは通常のフロントページへ届くようにした。VLB(ランダム中間ノード)もECMP(フローハッシュ)もMoEゲーティング(学習された重み)も、いずれもリクエスト/トークンの**送信元・内容を区別せず**、負荷や性能に基づいて振り分け先を決める設計であるのに対し、9章の事例は**リクエストの発生源(リファラヘッダ)という業務的な意味を持つ属性**に基づいて、振り分け先だけでなく提供するコンテンツの鮮度まで変える(常連ユーザには最新のフロントページ、Yahoo! 経由の新規流入には古いスナップショット)。これは負荷分散の目的が「システム全体のスループット最大化」だけでなく「特定ユーザ層のサービスレベル維持」でもありうることを示し、[[コンテンツ配信ネットワーク]]concept が扱うredirectorの「応答時間最小化」「スループット最大化」という2目的の整理に、「ユーザ層別のサービスレベル維持」という第三の目的を加える。(Source: [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]], [[@2021__SystemsApproach__Software-Defined Networks - A Systems Approach - Chapter 7 Leaf-Spine Fabric]], [[@2011__OReillyJapan__ウェブオペレーション - Chapter 9 予期しないトラフィック急増への対応]] §9.3) - **フロントエンド負荷分散は「DNS層(統計的・キャッシュ律速)」と「VIP層(パケット単位・状態非保持)」の2段構えであり、本ページが既に記録するデータセンター内ECMP/VLBのさらに手前で働く**: SRE Book第19章が報告するフロントエンド負荷分散は、まずDNS層でクライアントを最近接のデータセンターへ誘導し(ただしTTLによるキャッシュ律速・RFC 1035の512バイト応答制限・再帰リゾルバによるクライアント位置の隠蔽という制約を抱える)、次にVIP層でネットワークロードバランサがconnection ID(`id(packet) mod N`)ハッシュまたはconsistent hashingによりパケット単位で状態を保持せずバックエンドへ転送する。本ページが既に記録するECMP(SD-Fabric)・VLB(VL2)は、この2層のさらに先——ロードバランサがバックエンドへ転送した後のデータセンター内リーフ-スパイン間、あるいはデータセンター間ネットワークの内部——で働く仕組みである。VIP層のconsistent hashingはECMPと同じ「決定論的ハッシュ」系譜に属するが、目的はECMP/VLBが目指す「トラフィック行列全体の均等化」ではなく「バックエンドの追加・削除時に既存接続への影響を最小化すること」であり、同じハッシュベース手法でも解こうとしている問題が異なる。(Source: [[@2016__OReilly__SRE Book - Chapter 19 Load Balancing at the Frontend]], [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]], [[@2021__SystemsApproach__Software-Defined Networks - A Systems Approach - Chapter 7 Leaf-Spine Fabric]]) - **データセンター内負荷分散は「誰と繋ぐか」と「どれだけ送るか」という2つの独立した問題に分解できる**: SRE Book第19章が記録するVIP層のconsistent hashing・ECMP・VLBは、いずれも「どのバックエンドへパケット/接続を振り分けるか」という単一の決定を1回のハッシュ計算やランダム選択で下す。これに対し第20章が報告するデータセンター内部の負荷分散は、まず「クライアントタスクがどのバックエンド集合と接続を維持するか」を決める**サブセット化(subsetting)**と、次に「維持した接続群のうちどれにこのリクエストを送るか」を決める**負荷分散ポリシー(Round Robin / Least-Loaded Round Robin / Weighted Round Robin)**という、明確に分離された2段階の意思決定になっている。ナイーブなランダムサブセット化は単独では75%という非実用的な大きさのサブセットサイズでないと負荷を均等化できず(300クライアント・300バックエンドでサブセット30%なら63〜121%、10%なら50〜150%まで偏る)、Googleは「ラウンドごとに異なるシードでシャッフルする決定論的サブセット化」で誰と繋ぐかの均一性を先に確保したうえで、どれだけ送るかを負荷分散ポリシーに委ねる設計を取る。これは、VIP層・ECMP・VLBがハッシュや乱数という単一の決定論的/確率論的機構だけで負荷分散を完結させるのと対照的に、接続トポロジの均一性(サブセット化)とトラフィック配分の適応性(重み付け)を別レイヤーの問題として切り分ける設計判断である。(Source: [[@2016__OReilly__SRE Book - Chapter 19 Load Balancing at the Frontend]], [[@2016__OReilly__SRE Book - Chapter 20 Load Balancing in the Datacenter]]) - **決定論的サブセット化は、ECMPやconsistent hashingとは異なる第4の決定論的負荷分散手法である**: 本ページは既にVLB(ランダム化)・MoEゲーティング(学習)・ECMP(フローハッシュ)という3つの設計哲学の対比を記録しているが、SRE Book第20章の決定論的サブセット化アルゴリズム(クライアントをラウンドに分割し、ラウンドごとに異なるシードでバックエンドリストをシャッフルする)は、フローやパケット単位のハッシュではなく「クライアントタスク全体にどのバックエンド集合を割り当てるか」という、より粗い粒度(タスク単位)で決定論性を使う点で異なる。ECMPが個々のフローをリンク集合へ即座に振り分けるのに対し、決定論的サブセット化は接続確立前に集合そのものを事前計算する設計であり、対象とする粒度(パケット/フロー vs タスク間の接続トポロジ)が異なる。(Source: [[@2016__OReilly__SRE Book - Chapter 20 Load Balancing in the Datacenter]]) ## 未解決の問い - [[Preferred Elements]]の1T級検証では、約30Bで機能した学習型Routerが1Tでrouting collapseを起こし、load balancing lossの係数調整も効かなかった。規模拡大で崩壊が急に現れる条件と、[[Hash Layers]]や[[Expert Choice Routing]]の優位性は未解明である。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]) - SRE Book第19章は、通常時は単純な接続追跡を使い、DoS攻撃などシステムに負荷がかかった際にのみconsistent hashingへフォールバックするとするが、切り替えの判断基準や切り替えコストは章内に明記されていない。ECMPのフローハッシュ偏り問題と合わせて、決定論的ハッシュ手法の切り替えコストの定量比較は本ページにまだない。 - SRE Book第20章の決定論的サブセット化は「タスク単位の接続トポロジの均一性」を保証するが、ECMPやVLBが対象とする「パケット/フロー単位のトラフィック行列の均等化」とは異なる粒度の問題を解いている。両者を同一システムで併用した場合(例: データセンター内のRPCがECMPで転送された後、決定論的サブセット化されたバックエンド集合内でWeighted Round Robinを行う場合)、粒度の異なる2つの均一化がどのように相互作用するかは本ページにまだ整理がない。 - 補助損失によるモデル層の負荷分散とシステム配置最適化(FasterMoE・FlexMoE)を同時に適用した場合、効果は加算的か干渉するか。 - シグモイドゲーティング + 学習可能バイアス(MiniMax-M2)がソフトマックスより負荷分散に有利な理由は直感的には説明できるが(ゼロサム制約の除去)、理論的保証は未確立。訓練データや規模によっては崩壊しやすい条件があるか。 - VLM のように視覚トークンとテキストトークンが混在する入力では、モダリティ間で負荷分散の達成難易度が異なるか。DeepSeek-VL2([[@2024__arXiv__DeepSeek-VL2 - Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding]])はモデル規模によってソフトマックスとシグモイドを切り替えているが、この切り替えが負荷分散の観点でなされたのかは不明。 - DeepSeek-V3 のバイアス動的調整はヒューリスティックな符号反転で行われる。より原理的なオンライン最適化(例: 勾配ベースのバイアス更新)と比較した場合の安定性と性能は未検証。 - ECMP のフローハッシュが偏る(特定のリンクに集中する)ケースは、VLB のランダム中間ノード選択やMoEの学習型ゲーティングと比べてどの程度発生しやすいか。SD-Fabric の章はECMPの多重制限や偏りには言及しておらず、[[データセンターネットワークトポロジ]] 側の「ECMP の最大 8〜16 多重制限」という知見と合わせた定量比較は本ページにまだない。 - コンピュート負荷の均等分散（レイテンシ最小化・公平性）と、物理環境の熱的負荷分散（ホットスポット抑制・省電力）がトレードオフを生む状況において、両者を調停する統合スケジューリング目的関数はどう設計されるべきか。 - 自己スケールする LB は、全体アプリケーションのスケーラビリティにどれだけ効くか。(Source: [[@2011__SIGCOMM__Dynamically Scaling Applications in the Cloud]]) ## 関連 - 上位概念: [[Mixture-of-Experts]] / [[条件付き計算]] - 関連概念: [[LLM分散学習]] / [[並列化戦略]] / [[ストラグラー]] / [[Valiant Load Balancing]] / [[Prefill-Decode分離]] / [[データセンターネットワークトポロジ]] / [[データセンターL2ファブリック]] - 関連ソース: [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]] / [[@2024__arXiv__DeepSeek-V3 Technical Report]] / [[@2026__arXiv__The MiniMax-M2 Series - Mini Activations Unleashing Max Real-World Intelligence]] / [[Efficient Training of Large Language Models on Distributed Infrastructures]] / [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]] / [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]] / [[@2021__SystemsApproach__Software-Defined Networks - A Systems Approach - Chapter 7 Leaf-Spine Fabric]] / [[@2011__OReillyJapan__ウェブオペレーション - Chapter 9 予期しないトラフィック急増への対応]] / [[@2016__OReilly__SRE Book - Chapter 19 Load Balancing at the Frontend]] / [[@2016__OReilly__SRE Book - Chapter 20 Load Balancing in the Datacenter]] - 関連概念: [[レイムダック状態]](データセンター内負荷分散が接続先を決める前提となる、バックエンドの健全性判定と安全な停止) - 関連エンティティ: [[EPLB]] / [[SGLang]] / [[DeepEP]] / [[SD-Fabric]] - ソース: [[@2005__IEEE Internet Computing__Balance of Power - Dynamic Thermal Management for Internet Data Centers]] / [[@2011__SIGCOMM__Dynamically Scaling Applications in the Cloud]] / [[@2014__CLOSER__Robust Performance Control for Web Applications in the Cloud]] - 概念: [[オートスケーリング]] / [[クラウドデータベースの負荷配置(Packing and Migration)]] ## 出典 - [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]](MoE 負荷分散問題の最初の定式化。重要度損失 + 負荷損失 + ノイズゲーティングによる補助損失。2048 エキスパート規模で有効性を実証) - [[@2024__arXiv__DeepSeek-V3 Technical Report]](§2.1.2 補助損失なし負荷分散。バッチ単位のゲーティングバイアス動的調整。アブレーション: sequence vs batch 単位の粒度が検証損失に 0.005 の差) - [[@2026__arXiv__The MiniMax-M2 Series - Mini Activations Unleashing Max Real-World Intelligence]](シグモイドゲーティング + 学習可能エキスパートバイアスで補助損失依存を排除。229.9B/9.8B 規模で実証) - [[Efficient Large Language Models - A Survey]](§2.5.2 MoE ベース LLM タクソノミー。Expert Choice・StableMoE・Lifelong-MoE の系譜) - [[Efficient Training of Large Language Models on Distributed Infrastructures]](FasterMoE(shadowing experts)・SmartMoE/FlexMoE(動的配置)によるシステム層の負荷分散) - [[@2025__arXiv__Foundation Models for Time Series - A Survey]](Time-MOE の補助損失による負荷分散。訓練目的関数層での対処) - [[@2009__SIGCOMM__VL2 - A Scalable and Flexible Data Center Network]](ネットワーク負荷分散の文脈。VLB によるランダム中間ノード経由分散。データセンタートラフィックの高ボラティリティ実測と VLB の有効性実証) - [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]](EPLB による推論時システム配置最適化。スループット Prefill 1.49x・Decode 2.54x、バランス度との正相関、フェーズ別専門家利用分布) - [[@2021__SystemsApproach__Software-Defined Networks - A Systems Approach - Chapter 7 Leaf-Spine Fabric]](ch.7 §7.1、ECMPグループによるリーフスパイン間の決定論的負荷分散) - [[@2011__OReillyJapan__ウェブオペレーション - Chapter 9 予期しないトラフィック急増への対応]] §9.3(HTTPリファラに基づくコンテンツ単位の負荷分散。ユーザ層別のサービスレベル維持という目的) - [[@2016__OReilly__SRE Book - Chapter 19 Load Balancing at the Frontend]](フロントエンド負荷分散のDNS層・VIP層の2段構成。connection IDハッシュとconsistent hashingによるバックエンド選択、NAT・Direct Server Response・GREカプセル化による転送方式の比較) - [[@2016__OReilly__SRE Book - Chapter 20 Load Balancing in the Datacenter]](データセンター内負荷分散の「誰と繋ぐか(サブセット化)」「どれだけ送るか(負荷分散ポリシー)」の2段階分解。ランダムサブセット化の不均衡の定量化、決定論的サブセット化アルゴリズム、Round Robin/Least-Loaded Round Robin/Weighted Round Robinの比較) - [[@2011__SIGCOMM__Dynamically Scaling Applications in the Cloud]](LB のスケーラビリティと DNS 負荷分散)