## Memo ## Memo with LLM ### Paper Information - **Title**: GPU Partitioning, Power, and Performance of the AMD MI300A - **Authors and Affiliations**: Amr Abouelmagd, David Boehme, Stephanie Brink, Jason Burmark, Michael McKinsey, Olga Pearce (Lawrence Livermore National Laboratory); Anthony Skjellum (University of Tennessee, Chattanooga) - **Conference/Journal name**: SCA/HPC Asia 2026 (International Conference on High Performance Computing in Asia-Pacific Region) - **Publication year**: 2026 ### Paper Summary AMD MI300A APUにおけるGPUパーティショニング、電力管理、およびパフォーマンスの相互作用を詳細に調査した論文である。CDNA 3アーキテクチャによるCPU、GPU、統合メモリ(HBM3)の単一パッケージ統合を活かしたきめ細かなリソース管理と電力最適化が、HPCおよびAIワークロードの効率向上に不可欠であることを示している。 ### Detailed Explanation - **Problem Setting**: スーパーコンピュータの性能向上に伴う電力および熱密度の増大が課題となっている。AMD MI300AのようなCPU・GPU統合型APUにおいて、どのように計算リソースを分割（パーティショニング）し、電力を管理することが性能と効率の最大化につながるかを明らかにする必要がある。 - **Proposed Method**: MI300Aが備える高度なパーティショニング機能（SPX, CPXなどの計算パーティショニング、およびNPS1, NPS2, NPS4などのメモリ局所性パーティショニング）を探索。また、CPUとGPU間での動的な電力割り当て戦略を分析した。 - **Novelty**: MI300A APU特有の統合アーキテクチャにおいて、計算リソースの分離と電力消費のトレードオフを網羅的に評価した初期の包括的な研究である。特に単一パッケージ内でのCPU・GPU・HBMの協調動作に焦点を当てている。 - **Experimental Setup**: LLNLなどのテストベッド環境において、様々なパーティショニングモードと電力制限下でのベンチマークを実行。メモリ帯域幅、計算スループット、およびマルチユーザー/マルチアプリケーション環境におけるワークロードの分離性を評価。 - **Experimental Results**: パーティショニングによってマルチテナント環境でのリソース利用効率とスループットが向上。電力制限の引き上げによる性能向上が確認された一方で、サーマルスロットリング回避のための冷却の重要性が示された。統合メモリによる低レイテンシ通信が性能向上に寄与している。 ## Abstract 本論文では、AMD Instinct MI300A Accelerated Processing Unit (APU)におけるGPUパーティショニング、電力管理、およびパフォーマンス最適化の重要な相互作用について調査する。先進的なCDNA 3アーキテクチャに基づいて構築されたMI300Aは、CPU、GPU、および統合されたHBM3メモリを単一のパッケージに統合しており、ハイパフォーマンスコンピューティング(HPC)および人工知能(AI)ワークロードにおけるパフォーマンスのボトルネックに対処するように特別に設計されている。我々は、計算パーティショニングモード(SPX、DPX、QPX、CPX)やメモリ局所性パーティショニング(NPS1、NPS2、NPS4)を含む、MI300Aの高度なGPUパーティショニング機能を探索する。これらのメカニズムはきめ細かなリソース割り当てを可能にし、GPU計算リソースを複数の論理デバイスに分割することで、ワークロードの分離を強化し、並列実行を促進し、全体的なリソース効率を向上させる。さらに、本研究では消費電力がMI300Aのパフォーマンスに与える影響を検討する。高い電力制限はパフォーマンスを向上させることができる一方で、サーマルスロットリング(クロック速度や全体的な効率を低下させる可能性がある)を防ぐために堅牢な冷却ソリューションを必要とする。統合されたCPUとGPUコンポーネント間のMI300Aの動的な電力割り当ては、パフォーマンスとエネルギー効率の両方を最適化するための主要な戦略として分析される。統合メモリユニットアーキテクチャは、CPUとGPU要素間の通信を加速し、レイテンシを削減することで、さらなるパフォーマンス向上に寄与する。本研究は、AMD MI300A APUの潜在能力を最大限に引き出し、優れたパフォーマンスを達成するためには、戦略的なGPUパーティショニングとインテリジェントな電力管理が不可欠であることを強調している。