# High Bandwidth Memory ## 定義 High Bandwidth Memory（HBM）は、複数のDRAMダイを垂直に積層し、Through-silicon via（TSV）と広いインターフェースでプロセッサ近傍へ接続する特殊なDRAMである。SRAMだけでは足りない容量を保ちながら、DDR・LPDDR・GDDRより高い帯域幅を提供し、AI訓練・推論のメモリ需要を支える。 HBMの性能はメモリ容量と帯域幅の組み合わせで決まり、製造上はDRAMウェハ、ベースダイ、積層・接合の3工程が一体となる。したがって、HBMは回路仕様だけでなくTSV、薄化、歩留まり、先進パッケージング、顧客認定、供給網の制約を含むシステムとして扱う必要がある。 ## 未編纂の観察 - [APUにおけるHBM統合共有とメモリクロック耐性] AMD MI300A APUでは、8スタック（128 GB、128チャネル）のHBM3がCPUと6基のGPUダイによって物理的に共有される。高負荷な計算ジョブによってAPU全体電力が550W TDP上限に達しグラフィックスクロックがスロットリングされた際にも、HBMのメモリクロックは1,300 MHzで安定して維持され、メモリ律速カーネルのスループット（単一XCDあたり約700 GB/s）は損なわれない。(Source: [[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]]) - **HBM 中心のパッケージ設計**: EHPv4 では DDR 級を前提とするサーバー IOD のリンクが HBM で律速になった。MI300A は 8 スタックの HBM と 256 MB の Infinity Cache を組み合わせ、ピーク約 5.3 TB/s を最大 17 TB/s まで増幅する。(Source: [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]]) - Fugaku の A64FX は、2019 年頃に使えるメモリ技術として電力効率と高帯域を理由に HBM2 を選び、DDR を載せなかった。HBM2 は 1 モジュール 256 GB/s だが容量は最大 8 GiB でインターポーザのコストが高く、CMG ごとに 1 モジュール(計 4 個、32 GiB、1024 GB/s)にした。小容量は、ノード数を増やして問題サイズを増やせるスケーラブルなアプリケーションを前提に許容した。CPU ソケット向け HBM のコスト・容量・帯域の判断例である(Source: [[@2022__IEEE Micro__Co-Design and System for the Supercomputer Fugaku]]) - decode で使う KV キャッシュは必ず GPU HBM に常駐している必要があり、新規トークン生成のたびに GPU 外へ出るキャッシュ構成は decode では原理的に成立しない(Source: [[@2026__Glenn K. Lockwood Blog__What are KV Caches Really]]) ## 未解決の問い - HBMの帯域幅・容量・消費電力・製造コストのトレードオフは、世代間およびSRAM・DDR・3Dメモリ間でどのように定量比較できるか。 - HBMの東アジア集中と顧客認定の長期化は、AIインフラの供給リスクをどの程度左右するか。 - CPUとGPUが同一HBMスタックを共有するAPU環境において、CPU側の大規模I/O・前処理とGPU側の高スループットカーネルが同時にメモリ帯域を奪い合う場合の帯域調停特性はどう評価されるか。 - A64FX の HBM2 のみ(容量 32 GiB)という割り切りは、容量が効くアプリケーションを Fugaku から締め出さなかったか。締め出しはどの規模のアプリケーションで実測されたか。 ## 関連 - メモリ需要のボトルネック: [[メモリウォール]] / [[メモリ階層とキャッシュ]] - パッケージングと積層: [[チップレット]] - AIチップとの関係: [[AIアクセラレータ]] - 関連エンティティ: [[SK Hynix]] / [[サムスン電子 (Samsung Electronics)]] / [[Micron]] / [[ChangXin Memory Technologies]] / [[NVIDIA]] / [[Taiwan Semiconductor Manufacturing Company]] - ソース: [[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]] / [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]] / [[@2022__IEEE Micro__Co-Design and System for the Supercomputer Fugaku]] / [[@2026__Glenn K. Lockwood Blog__What are KV Caches Really]] - 概念: [[APU]] / [[動的電力共有]] / [[協調設計]] ## 出典 - [[@2026__RAND__High Bandwidth Memory - What It Is and Why It Matters]] - [[@2026__HPCA__GPU Partitioning, Power, and Performance of the AMD MI300A]](MI300AにおけるHBM3共有アーキテクチャと電力スロットリング時におけるメモリ周波数の安定性) - [[@2024__ISCA__Realizing the AMD Exascale Heterogeneous Processor Vision]](根拠)