# AMD Instinct MI300X [[AMD Instinct MI300A]] の 3 基の CCD を XCD 2 基に置き換えたアクセラレータ専用モジュールである。XCD 8 基で 304 CU、12 段積みの HBM(24 GB/スタック)で 192 GB を持つ。IOD の設計は MI300A と同一で、インタフェースの構成を変えて EPYC ホストの PCIe デバイスとして 8 基を Infinity Fabric で全結合する。XCD は 2 の冪で最大 8 分割でき、メモリは NPS1 または NPS4 を選べる。Llama-2 70B の推論で、比較対象 GPU に対し vLLM で 2 倍超、TensorRT-LLM でも 30% の遅延改善が報告されている([[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]])。 ## 関連 - 兄弟製品: [[AMD Instinct MI300A]] - 概念: [[チップレット]] / [[GPUパーティショニング]] - ソース: [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]]