GPUパーティショニング - yuuk1's Digital Garden

# GPUパーティショニング ## 定義 GPUパーティショニング（GPU Partitioning）とは、単一の物理GPUまたはAPU（加速処理ユニット）内に集積された複数の独立コンピュートダイ（XCDなど）、SM（Streaming Multiprocessor）、キャッシュ階層、およびメモリチャネルを、単一または複数の論理デバイス（パーティション）として分割・構成するハードウェアおよびファームウェア技術である。([[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]]) ## パーティショニングの類型と実装方式マルチダイ（チップレット）および大規模モノリシックGPUにおいて、パーティショニングはリソースの細粒度制御、フォールト分離、マルチテナンシー対応を可能にする: 1. **全体統合型（Single Partition, SPX）**: 全コンピュートダイを単一の巨大な論理アクセラレータとして提示する方式。プログラミングモデルは単一GPUと同一だが、スレッドブロックの自動分散方式（ラウンドロビン等）によってはダイ間を跨ぐアクセスが発生し、局所性が損なわれるリスクがある。 2. **クラスタ分割型（Triple Partition, TPX等）**: ダイのグループ単位（例: 2ダイペア）で論理デバイスを構成する中間的方式。 3. **完全コア分割型（Core-Partitioned, CPX / MIG）**: 各コンピュートダイやSMグループを完全に独立した論理デバイスとして分離する方式。各プロセスが単一ダイのプライベートL2キャッシュ内に閉じて実行できるため、空間的局所性の保護に最も優れる。 ## 課題とトレードオフ - **データ局所性とキャッシュスラッシング**: プライベートキャッシュを持つマルチダイ構成では、論理的に単一デバイスに見せる場合でも、隣接スレッドブロックが別ダイへラウンドロビン配置されるとL2ミスが急増し、ステンシル計算等で最大30%の性能低下を引き起こす。 - **ワークロードトポロジ認識マッピング**: パーティショニングモードの物理的変更（再起動やリコンフィグが必要な場合がある）を避けつつ最高性能を得るには、単一パーティション内でもダイ構造を意識したブロック配置（XCD-mapped等）をランタイムやコンパイラが支援する必要がある。 ## 関連 - ソース: [[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]] / [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]] - 概念: [[GPU多重化(MPS・MIG)]] / [[APU]] / [[メモリ階層とキャッシュ]] / [[GPU最適化]] / [[チップレット]] - エンティティ: [[AMD Instinct MI300A]] ## 未編纂の観察 - **ダイ間ラウンドロビンとプライベートL2の不一致が性能差の本質**: MI300AにおけるSPXとCPXの2Dステンシル性能差（最大30%）は、GPUモードの優劣ではなく、ブロック配置がプライベートL2のキャッシュライン再利用を阻害したことに起因する。ブロックIDをダイ境界に合わせて再配置することで、SPXモードのままCPX同等の性能を回復できる。(Source: [[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]]) - **チップレット数で変わる分割**: MI300A は XCD 6 基を 1 または 3 分割(NPS1)、MI300X は 2 の冪で最大 8 分割し NPS1・NPS4 と SR-IOV を選べる。チップレットごとのスケジューラが異なる XCD 数の分割を可能にする。(Source: [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]]) ## 未解決の問い - 異種ジョブが複数パーティションに混在する場合、メモリ帯域幅やInfinity Fabricのクロスバー競合は各パーティションの独立性にどの程度影響を与えるか。 - 動的なワークロード変動に応じて、OSやランタイムが再起動なしにパーティション構成やダイバインディングを適応制御できるか。 ## 出典 - [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]](根拠)