# AIアクセラレータ LLM 推論(およびその他の深層学習ワークロード)に特化したプロセッサの総称。大別すると**汎用 GPU** と**専用データフローアクセラレータ**に分かれ、アーキテクチャ・メモリ設計・電力特性・ソフトウェアエコシステムが大きく異なる。 ## 定義 ### GPU (Graphics Processing Unit) SIMT(Single Instruction Multiple Thread)モデルで多数のスレッドを並列実行する汎用プロセッサ。主要ベンダーは NVIDIA・AMD・Intel。LLM 推論では vLLM・TensorRT-LLM などのフレームワークが利用可能。HBM (High Bandwidth Memory) をオフチップメモリとして搭載し、大規模モデルを柔軟に実行できる。 **代表製品** (2024〜2026): | 製品 | HBM | TDP | 特記 | |------|-----|-----|------| | NVIDIA A100 | HBM2e 80 GB | 400 W | LLM 推論のデファクトベースライン | | NVIDIA H100 | HBM3 80 GB | 700 W | FP8 Tensor Core 搭載; 最高エネルギー効率 | | NVIDIA GH200 | HBM3 96 GB | 450 W | Grace CPU 統合 SoC | | AMD MI300X | HBM3 192 GB | 750 W | 最大 VRAM; データ並列でH100を超える場合あり | | AMD MI250 | HBM2e 128 GB | 560 W | マルチタイル; vLLM 成熟度が課題 | | Intel Max 1550 | HBM2e 128 GB | 600 W | Xe コア; vLLM 成熟度が課題 | ### データフローアクセラレータ データがコアのネットワークを流れる**データフローアーキテクチャ**を採用したプロセッサ。LLM 推論の Decode フェーズで支配的なメモリバウンド性を、大容量オンチップ SRAM でデータローカリティを確保することで解消する。 **代表製品**: | 製品 | オンチップメモリ | システム電力 | 特記 | |------|---------------|------------|------| | Cerebras CS-3 | SRAM 44 GB/chip (900k core) | 24 kW/ノード | 全モデルをオンチップに収容; 超高電力 | | SambaNova SN40L | SRAM 512 KB × PCU/PMU + HBM 64 GB + DDR 786 GB | 10 kW/ノード | ハイブリッドメモリ; バランス型 | ## アーキテクチャ比較 | 側面 | GPU | データフロー | |------|-----|------------| | 計算モデル | SIMT (スレッドグループ) | データフロー (パイプライン) | | メモリ設計 | HBM (オフチップ帯域幅律速) | 大容量オンチップ SRAM | | プログラミング | vLLM/CUDA 等の成熟スタック | ベンダー専用 SDK/API | | バッチ柔軟性 | 動的バッチング (1〜数千) | 固定バッチ (プリコンパイル) | | 強みシナリオ | 大バッチオフライン推論 | 小バッチオンライン推論 | ## 横断的知見 - **データフローアクセラレータは小バッチ(≤8)でGPU比1桁の優位を示すが、エネルギー効率ではGPUが優勢**: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]] の ALCF 実測では Cerebras CS-3 (batch=1) が NVIDIA A100 比 16.8× のスループットを達成するが、エネルギー効率は 0.15 tok/J と A100 (0.73 tok/J) を大きく下回る。スループットの高さが電力コスト増に相殺される構図。(Source: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]]) - **データフローの優位はデコードフェーズに限定される**: 同論文では CS-3 の ITL (インタートークンレイテンシ) が A100 比 18.8× 短縮するのに対し、TTFT (プリフィルフェーズ) の改善は 35% にとどまる。LLM 推論がデコード=メモリバウンド・プリフィル=計算バウンドという非対称な構造を持つことを裏付ける。(Source: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]]) - **GPU の中では NVIDIA H100 が最高のスループット・エネルギー効率を両立する**: A100 比 2〜3× のスループットに加え、W8A8 量子化で最大 47% のエネルギー効率改善。AMD MI300X は大容量 VRAM (192 GB) で大規模モデルをデータ並列で実行できるため、特定シナリオでは H100 を上回る場合がある。(Source: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]]) - **ソフトウェアスタックの成熟度がハードウェア性能の発現を制限する**: AMD MI250・Intel Max 1550 はアーキテクチャ上の能力に対し、vLLM の AMD/Intel 向け実装の未成熟さ(キーカーネル最適化の欠如)によりパフォーマンスが A100 以下となっている。ハードウェア選定はソフトウェアエコシステムの状況込みで判断すべきである。(Source: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]]) - **メモリ容量がマルチGPU展開の並列戦略を間接的に決定する**: VRAM が多いほどテンソル並列サイズを小さくでき、データ並列の比率を高めてより良いスケーリング効率を得られる。AMD MI300X (192 GB) は Llama 3.3 70B を TP=1 で実行でき、NVIDIA A100/H100 (80 GB) が強制される TP=4 の通信オーバーヘッドを避けられる。(Source: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]]) ## 未解決の問い - データフローアクセラレータはバッチサイズが固定(プリコンパイル)制約があるが、動的バッチングをサポートするランタイムの開発状況はどうか？ - CS-3 の固定電力 (アイドルとの差 4.5 kW) は推論量にかかわらず発生する。マルチテナント環境でのコスト効率はどのような占有率から改善するか？ - GPU の vLLM ソフトウェア成熟度差 (AMD/Intel vs NVIDIA) は今後どのペースで解消されるか？ハードウェアポテンシャルの差かソフトウェアの差かを定量的に分離できるか？ - FP4 量子化対応 GPU (B200 等) がデータフローアクセラレータの小バッチ優位を侵食するか？ - 4-bit 量子化・プリフィル-デコード分離・ハイブリッド Mamba-Attention など新興技術はアクセラレータ間の性能差をどう変えるか？ - エネルギー効率の比較に電力測定の粒度差 (NVIDIA: 0.5秒, Intel: 1.9秒, Cerebras: 系統レベル) がどの程度影響するか？ ## 関連 - ソース: [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]] - 概念: [[LLM推論]] / [[GPU最適化]] / [[テンソル並列]] / [[Mixture-of-Experts]] / [[FlashAttention]] - エンティティ: [[NVIDIA]] / [[AMD]] / [[Intel Corporation]] / [[Cerebras]] / [[SambaNova]] / [[vLLM]] - 関連 MOC: [[Systems for ML - MOC]] ## 出典 - [[@2026__IPDPS__Beyond Throughput - Performance and Energy Insights of LLM Inference Across AI Accelerators]] — 6GPU + 2データフローアクセラレータ + 14 LLM の実証比較; 性能・エネルギー効率・並列化戦略の13知見