# AI Chip Architectures jepeake による、現行の主要 AI アクセラレータ6種(NVIDIA GPU、Google TPU、AMD Instinct GPU、Cerebras WSE、AWS Trainium、Groq LPU)を横断的に比較する技術記事。各アーキテクチャの設計思想(philosophy)・世代系譜(genealogy)・計算/メモリ/数値表現・スケーリング(scale-up/scale-out)・ソフトウェアスタックを共通のフォーマットで整理し、末尾で per-chip / per-rack のスペック比較表と横断的な知見をまとめている。 ## 出発点: Hennessy & Patterson の予言 2018年 ISCA での Hennessy と Patterson の Turing Lecture("A New Golden Age for Computer Architecture")を起点に置く。単スレッド CPU 性能の伸びが年52%(1980年代)から3%(2018年)に落ち込み、[[ムーアの法則とデナードスケーリングの終焉|Moore's Law と Dennard Scaling の終焉]]により[[ドメイン固有アーキテクチャ|ドメイン固有アーキテクチャ(DSA)]]が必要になったという同講演の主張を、記事は「次の10年でアーキテクチャのカンブリア爆発が起きる」という予言の的中例として位置づける。TPU v1(CPU比29倍のスループット・80倍の電力効率)がその最初の worked example だった。 ## 共通の問題設定: メモリウォールと4つの問い AI計算の大半は行列乗算(matmul)であり、訓練/プリフィルは高い演算強度を持つ GEMM(行列×行列)、デコードは演算強度が桁違いに低い GEMV(行列×ベクトル)になる。継続的バッチング・投機的デコード・マルチトークン予測はこの GEMV を GEMM 側へ引き戻す技術である。記事はこれを「[[メモリウォール]]: 計算は指数関数的にスケールしたが、メモリ帯域幅はしていない」という一言に集約し、あらゆるアーキテクチャの違いを次の4つの問いへの回答の違いとして捉える: **データはどこに居るか(live)・どう計算ユニットへ移動するか(move)・計算ユニットの形は何か(compute)・チップ間はどう通信するか(scale)**。 ## NVIDIA GPU — massively parallel processor CUDA を通じて公開される、プログラマブルな Streaming Multiprocessor(SM)の大量並列マシン。Tensor Core の MMA 命令は Volta の `mma.sync`(32スレッドの warp が同期発行)→ Hopper の `wgmma.mma_async`(128スレッドの warp-group が非同期発行、TMA でオペランドをシェアードメモリ記述子経由に)→ Blackwell の `tcgen05.mma`(単一スレッドが発行し、アキュムレータは専用の TMEM に着地、CTA-pair で2SM にまたがる256×256×16タイル)へと、issue に必要なスレッド数を減らしながら非同期化を進めてきた。この非同期化こそが FlashAttention 系のカーネル(softmax とタイルロードを matmul の裏で回す)を成立させる。数値表現は FP32→FP16→TF32/BF16→FP8→FP4 と半減し続け、Transformer Engine が世代ごとに自動スケーリングを担う。スケールアップは NVLink+NVSwitch のキャッシュコヒーレントファブリック(NVL72で72GPU・130 TB/s all-to-all、受動銅配線)、スケールアウトは Mellanox 由来の InfiniBand/Spectrum-X(DGX SuperPOD、ConnectX NIC)。ソフトウェアの堀は CUDA 自体というより、18年分のサードパーティ製カーネル・ライブラリ(cuBLAS/cuDNN/CUTLASS/TensorRT-LLM)と、NVIDIA がフロンティア研究所に直接エンジニアを常駐させる人的資本にある。 ## Google TPU — matrix multiplication machine プログラマブルなSMを持たず、[[テンソルコア|MXU(シストリックアレイ)]]という単一プリミティブに絞り、[[XLA]] コンパイラが全サイクル・全バイトの配置を事前に決める。ハードウェアスケジューラも、キャッシュも、warp もない。TensorCore は MXU(weight-stationary な256×256系統アレイ)・VPU(2Dベクトルマシン、8×128のVREG)・Scalar Unit(322-bit VLIW発行)・XLU・Transpose/Permute Unit・SparseCore(埋め込みルックアップ専用データフロー)から構成される。オンチップ階層(VMEM/CMEM/SMEM)もすべてソフトウェア管理でキャッシュがなく、XLA のバッファ割当パスがDMAタイミングを事前計算する。スケールアップは ICI によるメッセージパッシング型トーラス(2D/3Dトーラス)+ Palomar OCS(3D-MEMS光回線交換、[[光回線交換]])で64チップキューブを再構成可能に束ね、Ironwood(v7)は9,216チップ・42.5 ExaFLOPS FP8のスーパーポッドに達する。スケールアウトは Jupiter(2022年からスパイン全光化、Apollo OCS)。v8t(Sunfish)世代では東西トラフィックが専用ファブリック Virgo に分離された。ソフトウェアは JAX→StableHLO→XLA→LLO→VLIWという完全コンパイラ駆動パイプラインで、Pallas(Mosaic 経由)がカーネル記述の逃げ道。 ## AMD Instinct GPU — 保守的なコア、積極的なパッケージング NVIDIA が SM 内部を世代ごとに拡張するのに対し、AMD は Compute Unit(CU)を GCN(2012年)以来ほぼ据え置き、CU 間のパッケージングに賭けてきた。CDNA 3(MI300X)で TSMC SoIC による3Dスタッキング(8 XCD を4 IOD にハイブリッドボンディング)を NVIDIA より1世代早く実現し、MI300A では Zen 4 CCD と CDNA XCD が HBM を介して単一のコヒーレントアドレス空間を共有する APU(El Capitan で実証)を実現した。Matrix Core(MFMA)は一貫して wavefront スコープ(NVIDIA のように warp→warp-group→単一スレッドへ縮小しない)であり、非同期オーバーラップの構造的不利を抱える。HBM容量は2021年以降一貫して同世代 NVIDIA フラグシップを上回り、256 MB の Infinity Cache でカバーする。CDNA 4(MI355X)で FP64 のスループットを半減させ AI 専用化へ舵を切った。スケールアップは2026年の Helios(72GPU、UALink、当初は Infinity Fabric over Ethernet の UALoE で暫定運用)まで8GPU の OAM ボックスに留まっていた。スケールアウトは Ultra Ethernet Consortium の UET(InfiniBand を使わない)。ソフトウェアは ROCm がオープンソース戦略を取り、`torch.compile`→Triton の普及に賭けて CUDA 固有カーネルの移植コストを回避しようとしている。ただし Phoronix の独立ベンチマーク(2026年3月)では ROCm 7.2 が同等精度で CUDA 比10〜25%遅い。 ## Cerebras WSE — ウェハを切らない 「メモリウォールはウェハを切ることの帰結である」という立場から、レティクル境界(~850mm²)を越えて84枚のレティクルフィールドをスクライブライン上のメタル配線で接続し、900,000個のデータフローコア・46,225mm²・SRAM 44GBを1枚のシリコンに収める([[チップレット]]とは対極の解)。各コアはウェーブレット到着で起動するデータフロー実行で、warp もキャッシュもない。学習は Weight Streaming(重みが MemoryX からストリームし、活性化がSRAM常駐)という GPU/TPU とは逆の発想で、複数ウェハへのスケールは純粋なデータ並列(SwarmX)に還元される。推論では逆に重みをSRAMへ常駐させ、レイヤー境界でモデルをパイプライン分割する。バイト/FLOP比は~1.3(B200は~0.002)で唯一「バランスの取れたマシン」だが、SRAM密度がプロセス微細化で伸びなくなっており(WSE-2→WSE-3で+10%のみ)、これが構造的な天井になっている。ソフトウェアはカーネルマッチャー方式(PyTorchのサブグラフをハンドチューニング済みカーネルに照合、外れるとCerebrasエンジニアの手作業)で、サードパーティのカーネルエコシステムが育たない。2026年1月、OpenAI が750MW・7,500億円超規模のCS-3容量契約を締結し、最初のフラグシップモデル GPT-5.6 Sol がこの容量上で稼働した。 ## AWS Trainium — TPU思想のファストフォロワー Annapurna Labs が Google の TPU の賭け(128×128 weight-stationary シストリックアレイ・ソフトウェア管理スクラッチパッド・全プログラムコンパイル)をほぼそのまま再実装し、コンパイラも Google の OpenXLA を共用する。独自性は Tensor Engine の周囲(Vector/Scalar/GPSIMD Engine)と、専用の集団通信コア(CC-Cores、20個/Trn2チップ)にある。Trn1/Trn2はTPUと同じトーラストポロジ(NeuronLink)を採用したが、Trn3ではMoEのall-to-allトラフィックに合わせてNeuronSwitch(スイッチ型all-to-all)へ転換した。スケールアウトはAWS既存のEFA/SRD(Nitroオフロード、64パスへのフロー分散)。Anthropic は Project Rainier(50万個超のTrainium2、2026年初頭には100万個超)でTrainiumを訓練・推論両方に用いており、独自のNKIカーネルをNeuronスタックへ直接アップストリームしている。 ## Groq LPU — 決定論のマシン 他のすべてのチップが不確実性を許容するために(キャッシュ・スケジューラ・アービタで)シリコンを使うのに対し、LPUはそれらすべてを削除し、コンパイラがサイクル単位で命令とバイトの配置を事前決定する。コアを単一の機能スライス(命令制御・ベクトルALU・行列ユニット・メモリ・ネットワーク)に分解し、東西方向へオペランドをストリームさせる(元名 Tensor Streaming Processor)。HBMを持たず230MBのSRAMのみで、70Bモデルは~576チップに分割する必要がある。ゼロスキップを一切行わない(データ依存の実行時間はご法度)。ネットワークもコンパイル時にスケジュールされ(scheduled, not routed)、チップ自体がルータを兼ねるグルーレスな Dragonfly トポロジを構成する。2025年、NVIDIAがLPU技術を非独占ライセンス取得しRossと開発チームの大半を採用(買収ではないがプレスは~130億ドル規模のacquihireと報道)。2026年GTCで「NVIDIA Groq 3 LPU」としてRubin NVL72の横に再登場し、GPUがAttentionを、LPUがFFN/MoE層を担うAttention-FFN分離構成へ組み込まれた。 ## 比較表からの横断的知見(記事末尾 Comparison) - チップ単体の FP8 性能は収斂しつつある(B200 4.5PF・Ironwood 4.6PF・MI355X 10PFで2倍以内)。差はラック/ポッドスケールで開く。 - HBM容量はAMDが2021年以降一貫してNVIDIAを上回り続けてきたが、Rubin Ultra(2027年、1TB/package)で再逆転する見込み。 - ラックスケールのコヒーレントスケールアップはNVL72が2024〜2025年唯一の存在で、AMDはHeliosまで箱スケール止まり、TPUはトーラス自体がラック兼クラスタになる独自解を取る。 - 電力/チップは700W(Hopper)→1,000W(Blackwell)→1,400W(B300/MI355X)→~1,800W(Rubin Ultra想定)と急伸し、1,000W超で液冷が事実上必須になった。 - CerebrasとGroqはともにHBMを持たないという一点で「表の軸を破壊する」例外であり、直接比較不能である。 ## 横断的知見 - **同一の「シストリックアレイ+コンパイラスケジューリング」という賭けが、Google(TPU)とAmazon(Trainium)という別々の企業でほぼ同じ形に再実装されている**: 本記事は Trainium を「TPUの思想をクラウド内部で再構築したもの」と明示的に位置づけ、Trn1/Trn2 が TPU と同じトーラストポロジを採用しコンパイラも Google の OpenXLA を共用する事実を挙げる。[[AIアクセラレータ]] が既に記述する「GPU対データフロー」という二分法に対し、この記事は同じデータフロー陣営の内部にも「シストリック+コンパイラ」派(TPU・Trainium)と「大容量オンチップSRAM+データフロー実行」派(Cerebras)というさらなる分岐があることを示す。(Source: 本記事) - **CerebrasとGroqはともにHBMを持たずSRAM専用という同一の制約から、正反対の実行モデルへ分岐した**: Cerebras WSEはウェーブレット到着で起動する非同期データフロー(the arrival of data is the schedule)であるのに対し、Groq LPUは到着ではなく時計で駆動する完全決定論的スケジュール(compiler computes ahead of time the exact cycle)を取る。両者は「HBMを捨ててSRAMのみに賭ける」という同じ出発点から、データ駆動と時間駆動という対極の解に至っており、[[メモリウォール]]の解決策が単一の設計原理に収束しないことを示す好例である。(Source: 本記事) - **NVIDIA GPUのTensor Core命令の6世代にわたる進化(warp集団同期→warp-group非同期→単一スレッド発行)は、[[テンソルコア]]ページが扱う「行列演算専用ユニット」という静的な捉え方に、issue側の脱結合という時間軸の変化を追加する**: 記事はこの進化を「命令が大きく軽くなった」と要約するが、これは同時にFlashAttention系カーネルが可能になった直接の技術的前提でもある。(Source: 本記事) ## 未解決の問い - 6アーキテクチャの比較表(per-chip/per-rack)にある「アナリスト推定値・未公表値」の多さ(`*`・`n/d`マーカー)は、ベンダー非公開情報がAIチップ性能比較の議論全体にどの程度のノイズを持ち込んでいるか。 - GroqのLPU技術がNVIDIA Rubin NVL72に統合されたAttention-FFN分離構成は、決定論的スケジューリングという設計思想が非同期的でプログラマブルなGPUアーキテクチャの内部でどこまで維持されうるか。 - CerebrasのSRAM密度がプロセス微細化で伸び悩む(WSE-2→WSE-3で+10%)という制約は、今後のプロセスノードでも同様に続くのか、それとも新しいメモリ技術(3D SRAM等)で緩和されうるか。 ## 関連 - エンティティ: [[NVIDIA]] / [[Google TPU]] / [[AMD]] / [[Cerebras]] / [[AWS Trainium]] / [[Groq]] / [[CUDA]] - 概念: [[AIアクセラレータ]] / [[メモリウォール]] / [[チップレット]] / [[ドメイン固有アーキテクチャ]] / [[テンソルコア]] / [[光回線交換]] - 原本: `.raw/articles/ai-chip-architectures-2026-08-29.md`