# SAKURAONE [[SAKURA internet Inc]] Research Center が開発・運用するマネージド HPC クラスタ。KOKARYOKU PHY のベアメタル GPU プラットフォーム上に構築され、LLM 訓練を含む先進的なワークロードに最適化される。([[@2026__MLSys2026__SAKURAONE - An Open Ethernet-Based AI HPC System]]) - **構成**: 100 計算ノード × NVIDIA H100 SXM 80GB × 8 = 800 GPU。各ノードは Intel Xeon Platinum 8580+ × 2、DDR5 1.5 TB。共有オールフラッシュ Lustre 2 PB(DDN ES400NVX2-NDR200 × 4)。 - **ネットワーク**: rail-optimized leaf–spine、800 GbE(2× 400 GbE)、RoCEv2。Edgecore AIS800-64O(Broadcom Tomahawk 5、51.2 Tb/s)上で [[SONiC]] を運用。トップ 100 で唯一のフルオープンなネットワーキングスタック。 - **実績**: ISC 2025 TOP500 で HPL 49 位。HPL 33.95 PFLOP/s、HPCG 396.295 TFLOP/s、HPL-MxP(FP8)339.86 PFLOP/s。 - **運用**: 2024 年 6 月〜2025 年 3 月に日本語の medical-LLM プロジェクト(CPT + ファインチューニング)を単一テナントで排他運用。 - **2025 年末時点の講演資料上の位置づけ**: 第一クラスタ(H100 100 ノード)、第二クラスタ CYC(H200 55 ノード)、第三クラスタ CYB(B200 48 ノード)の 3 クラスタ構成として説明される。講演資料では、GPT-3 175B 事前学習の MLPerf Training 型ベンチマークで 32 ノード 105.310 分、96 ノード 41.862 分、MFU 38.3%/35.9% を示し、OTel + Grafana によるリソース分析と GPU/RDMA 可観測性の課題も扱う。文字起こしの Q&A では、LLM 開発で最高性能より安定に完走できる構成が選ばれる場合があること、故障時はリザーブドノードによる代替とチェックポイント復旧が現実的な運用境界になることも補足される。([[@2025__SpeakerDeck__AIスーパーコンピュータにおけるLLM学習処理性能の計測と可観測性]]) - **2025 年 O11yCon Tokyo 2025 でのオブザーバビリティ講演**: [[@2025__O11yConTokyo2025__AIスパコン「さくらONE」のオブザーバビリティ]] では、さくらONE のオブザーバビリティ基盤の具体構成として、100 GPU ノード上に DCGM Exporter・Node Exporter・Lustre Exporter・IPMI Exporter・RDMA Exporter(自作)を配し、OTeL Collector Agent → Gateway → VictoriaMetrics / VictoriaLogs / Pyroscope → Grafana のパイプラインを構築していることが開示された。ダッシュボードは HPE Clusterview による空間ビュー、時系列ビュー、Slurm ジョブ履歴のガントチャートの 3 形態を持つ。クラウドネイティブ分野との「オブザーバビリティギャップ」が 3 つ（学習処理性能のボトルネック特定・アプリかインフラかの問題切り分け・マイクロバーストモニタリング）に整理され、eBPF による GPU ゼロコード計装と [[R-Pingmesh]] による RoCE ネットワーク常時監視で解消を目指すとされる。 - **JANOG58で開示されたコンテナ型データセンター展開**: 石狩データセンター敷地内に2025年6月稼働開始した第1弾コンテナ型DC(水冷式、1コンテナ20ラック計40ラック、直接液体冷却方式(DLC)、NVIDIA H200 GPU 8基搭載サーバー約1000基、同年8月よりBlackwell B200も同型コンテナで提供開始)と、2026年2月稼働開始の第2弾(より大型のコンテナ、NVIDIA Blackwell B200約1,100基)が明かされた。第2弾の代表構成「SAKURAONE CYD」(Supermicro SuperServer B200、Intel Xeon 6960P 72C 2.7GHz、NVIDIA B200 SXM 180GB)はHPL Rmax 37.79 PFLOP/s・HPCG 1076.97 TFLOP/s・HPL-MxP(FP16)9.1146 EFLOP/sを記録し、ISC2026 TOP500世界63位(Ethernetインターコネクトのみのランキングでは世界63位、HPCG世界22位)。既存の「CYC(H200 55ノード)」「CYB(B200 48ノード)」というクラスタ命名と合わせ、CYDは同系列の新クラスタと位置づけられる。ネットワークはArista 7060X6-64PE採用のLeaf-Spine構成(ComputeNetwork: Spine10台・Leaf20台、800G×64ポートTomahawk5、マルチテナンシEVPN/VXLAN+RoCEv2、一部LPOトランシーバー採用。StorageNetwork: Leaf2台ずつ4セット計8台、400G×54ポートJericho2C+、VLANによるマルチテナンシ+RoCEv2)。([[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]]) - **JANOG57で開示されたアーキテクチャ選定とネットワークOSの世代変遷**: [[@2026__JANOG57__HPCネットワークの多様化に挑む - マルチベンダー×マルチOSで支えるHPCネットワーク運用の実際]] は、さくらONEが3世代のクラスタで異なるアーキテクチャ/OS組み合わせを並行運用していることを開示する——H100クラスタ(2024/12 S-in、100サーバー、シャーシ+SONiC)、H200/B200クラスタ(2025/6-8 S-in、50-60サーバー、シャーシ+Arista EOS)、最新B200クラスタ(約140サーバー・約1100GPU、Clos Topology+Arista EOS、Broadcom Tomahawk5・Arista 7060X6-64PE、Spine10台・Leaf20台、Storage Edge8台・Storage Core2台、800G LPO Transceiver採用、Deep buffer J2Cの併用による500m棟間接続対応)。72台以下はシャーシ、それ以上はClos Topologyという収容規模の閾値設計を示す。マルチテナンシーはVRF・EVPN/VXLAN(L3VNI)によるL3VPN化とM-LAG(VLAN)によるL2/L3両立で実現する。([[@2026__JANOG57__HPCネットワークの多様化に挑む - マルチベンダー×マルチOSで支えるHPCネットワーク運用の実際]]) ## 関連 - 本ソース: [[@2026__MLSys2026__SAKURAONE - An Open Ethernet-Based AI HPC System]] / [[@2025__SpeakerDeck__AIスーパーコンピュータにおけるLLM学習処理性能の計測と可観測性]] / [[@2025__O11yConTokyo2025__AIスパコン「さくらONE」のオブザーバビリティ]] / [[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]] / [[@2026__JANOG57__HPCネットワークの多様化に挑む - マルチベンダー×マルチOSで支えるHPCネットワーク運用の実際]] - 開発・運用: [[SAKURA internet Inc]] - 採用技術: [[SONiC]] - 関連概念: [[オープンネットワーキング]] / [[GPUクラスタ運用]] / [[LLM分散学習]] - 関連 MOC: [[HPC - MOC]] / [[Network - MOC]]