# VAST AI Operating System **注記**: 本ソースは [[VAST Data]] によるベンダーホワイトペーパー(2025年)である。性能数値はすべてベンダー自身による内部検証値であり、査読を経た第三者評価ではない。 ## ドキュメント情報 - タイトル: VAST AI Operating System(ホワイトペーパー) - 著者: [[VAST Data]] - 形式: 技術白書、145 ページ - 発行: 2025年(「as of this writing (January 2026)」の記述あり) - 主要技術: DASE アーキテクチャ、DataStore、DataBase、DataSpace、DataEngine、InsightEngine ## 概要 VAST AI Operating System (VAST AI OS または VAST AIOS) は、AI ワークロード全体——原データ取り込みから文脈分析・インテリジェントな行動まで——を一元化されたリアルタイムフローとして扱うソフトウェアプラットフォームである。「データセンター自体のオペレーティングシステム」を標榜し、従来は複数の独立クラスターで担っていた Object Store・Database・Event Broker・ベクトルデータベース・Kubernetes・Apache Kafka を単一クラスターに統合することを目標とする。(Source: 本文 pp.10–12) 2016 年に設計した DASE (Disaggregated and Shared Everything) アーキテクチャを基盤とし、2019 年の Universal Storage、2023 年の AI Data Platform を経て 2025 年に VAST AI OS へと進化した。ソフトウェア定義システムとして x86/ARM サーバーまたはクラウド上で動作し、ハードウェアロックインがない。 ## 問題設定 現代の AI ワークロードは、ストレージ・ネットワーク・コンピュートを独立サブシステムとしてではなく、データ中心のファブリックとして密結合で動作させることを要求する。単一データセンターの容量を超えた規模での訓練・推論・エージェント実行、そして一貫したデータガバナンスを統一制御プレーンで実現するために、VAST AI OS は設計された。(Source: 本文 pp.10–11) ## アーキテクチャ **Figure 1: VAST プラットフォームの層構造** ![[_attachments/vast-ai-operating-system/fig01-platform-layers.png]] (Figure 1. Physical Layer(チャンク管理・消去符号化)→ Element Store(オブジェクト/ファイル/テーブル/トリガー)→ Protocol Layer(NFS/SMB/S3/NVMe-oF/VAST SQL)→ DataSpace(グローバルネームスペース)→ Execution Layer(DataBase + DataEngine)の 5 層。Source: 本文 p.17) VAST AI OS のアーキテクチャは OSI モデルに類似した層構造で説明され、上位層を DataStore・DataBase・DataSpace・DataEngine に大別する。 ### DASE アーキテクチャ(物理クラスター設計) **Figure 2: DASE の CNode・DNode 構成** ![[_attachments/vast-ai-operating-system/fig02-dase-cnode-dnode.png]] (Figure 2. ステートレスコンテナ(CNode)が NVMe Fabric 経由で 3 つの DBox(DNode ペア + Hyperscale Flash)に接続し、One Namespace を形成する。Source: 本文 p.19) DASE (Disaggregated and Shared Everything) アーキテクチャは 2 つの革新的概念を導入する。(Source: 本文 pp.19–21) - **CNode(コンピュートノード)**: x86/ARM サーバー上のステートレスコンテナ。DRAM にデータを書き込まない。書き込みはすべて DBox の複数 SSD に永続化してからクライアントに確認応答する。 - **DBox(HA エンクロージャー)**: ストレージクラスメモリ (SCM) と Hyperscale Flash (QLC NVMe SSD) を搭載。クラスター内の全 CNode が NVMe-oF で全 SSD を直接マウントする。 - **単一非分割ネームスペース**: 全 CNode が全メタデータに直接アクセス。ノード間の所有権やメタデータ委譲は不要。単純な読み書きは他の CNode に問い合わせなしで完結。 - **非破壊アップグレード**: ステートレス性により、古いコンテナと新しいコンテナを同時に起動してシームレスに切り替える。ノードダウンタイムは数秒以内。 Shared-Nothing アーキテクチャとの本質的な違いは、デバイス所有権とパーティショニングの排除にある。(Source: 本文 pp.19–20) ### VAST DataStore DataStore はストレージ基盤。3 層構造: Physical Layer(チャンク管理・消去符号化)、Logical Layer(Element Store)、Protocol Layer。(Source: 本文 pp.44–90) 主要特徴: - **書き込み空き領域への書き込み (Write-in-Free-Space)**: データを直接上書きせず、チャンクを空き領域に書き込んでメタデータを更新する。スナップショットを O(1) で取得可能。 - **V-Tree メタデータ**: SCM 上のトランザクション的に整合性のあるメタデータ構造。ACID 保証。Element Locking で並行性制御。 - **類似性削減 (Similarity Reduction)**: 重複排除・圧縮を超えた適応型チャンキング。単一 Reduction Realm で全データを横断。 - **Quad Parity + Locally Decodable Codes**: 広幅ストライプで高い記憶効率。局所復号可能消去符号で部分再構築を高速化。 - **マルチプロトコル**: NFS v3/v4、SMB v2/v3、S3、NVMe-oF、VAST SQL をすべて第一級市民として実装(サードパーティモジュール不使用)。 - **GPU Direct Storage (GDS) + NFSoRDMA**: DGX-A100 評価で NFSoTCP 2 GiB/s → NFSoRDMA 46 GiB/s → GDS+NFSoRDMA 162 GiB/s を達成、CPU 使用率 50% → 14%。(ベンダー内部検証値) ### VAST DataBase DataStore 上に構築されたカラム型データベース。HTAP (Hybrid Transactional/Analytical Processing) を目標とする。(Source: 本文 pp.106–113) **Figure 3: DataBase アクセス経路** ![[_attachments/vast-ai-operating-system/fig04-database-access.png]] (Figure 3. VAST SQL・Kafka APIs・Trino/Spark Server(VAST Trino Plugin)からの 3 経路が CNode を介して VAST Table にアクセスする。Source: 本文 p.110) - SCM への行単位書き込み → 行グループ蓄積後にカラムチャンク(16〜128 KB)に変換して QLC に移行。 - 単一統合メタデータ: スキーマからデータチャンク・SSD 位置まで 1 セット。Iceberg/Delta Lake のような外部メタデータレイヤ不要。 - テーブルスナップショットは DataStore の snaptime 機構を共用。 - **Catalog**: Element Store のネームスペースメタデータを SQL クエリ可能なテーブルとして公開。「変更された全ファイルを 15 分以内に検索」が SQL 1 行で完結。 - Spark・Trino・Dremio・Vertica へのプラグイン提供。Parquet/Iceberg 形式のダイレクトインジェスト。 ### VAST DataSpace マルチクラスター・マルチサイト・クラウドにわたるグローバルネームスペースと複製を担う。(Source: 本文 pp.91–105) **Figure 4: プラットフォーム概要** ![[_attachments/vast-ai-operating-system/fig03-platform-overview.png]] (Figure 4. DataBase(Transaction & Analytical)と DataStore(Scaleable High-Performance File & Object)が Function で連携し、Edge・Core・Cloud を Global Namespace で統一する。Source: 本文 p.15) - **同期レプリケーション**: アクティブ・アクティブ。2 クラスターが同じ View を提示し、両クラスターへの確認後にクライアントへ応答。RPO = 0 秒。(2026年1月時点: 2-way ファイル/オブジェクトのみ) - **非同期レプリケーション**: スナップショットベース。1→多・多→1 に対応。mTLS で暗号化。 - **グローバルアクセス**: Read/Write Lease による fine-grained 整合性制御。ファイル・オブジェクト・テーブル単位で整合性管理権を一時的に委譲。 ### VAST DataEngine サーバーレス関数実行・イベントトリガー・グローバルワークフロー最適化を担うオーケストレーション層。Python ベースの関数をコンテナとして実行。(Source: 本文 pp.115–123) - **イベントブローカ (VAST Event Broker)**: Kafka 互換 API。各 Kafka トピックを DataBase テーブルとして実装。3→88 ブローカで 99% スケーリング効率、Kafka 比 6 倍スループット/ブローカ、ストレージオーバーヘッド 66% → 3% 以下に削減。(ベンダー内部検証値) パーティションリーダーは CNode に浮動 VIP でマッピングされ、Kafka のようなログ複製なしでフェイルオーバー。 - **グローバルワークフロー最適化エンジン**: データグラビティ大→コンピュートをデータ近傍で実行、リソース希少→データをコンピュート側に移動。CPU/GPU/DPU で実行最適化。 - **観測可能性**: 全関数呼び出しを自動計装。トレース・メトリクス・エラーを DataBase に保存し SQL でクエリ可能。Dead letter topic も DataBase テーブル。 ### VAST InsightEngine DataEngine 上に構築されたネイティブ RAG サービス。(Source: 本文 pp.126–131) 処理フロー: 1. DataStore へのデータ書き込み → Event Broker にイベント発行 2. DataEngine 関数がイベントを受信 → チャンキング・エンベディングパイプラインを並列起動 3. チャンク・埋め込みベクトル・メタデータを DataBase テーブルの別カラムに格納 4. クエリ時: ユーザー IDを確認 → クエリをベクトル化 → 近傍探索+メタデータフィルタ → 権限チェック済みチャンクを返却 アーキテクチャ優位点: - **ライブ権限強制**: ACL 変更は次のクエリに即時反映。リインデックス不要。 - **統一ライフサイクル**: オブジェクト削除イベントでベクトルと埋め込みを即時クリーンアップ。孤立ベクトルが発生しない。 - **単一セキュリティ境界**: DataStore・DataBase・InsightEngine が共通認証・認可フレームワークを共有。 - **スケール**: Event Broker が毎秒数億イベントを処理可能。CNode 追加でスループットが線形にスケール。 ファイルシステムへの書き込み(NFSv4)では「最終クローズ時に初回埋め込み計算」「インプレース変更はスケジュール実行で差分検出」という設計を採用。リアルタイム埋め込みはオブジェクトセマンティクス前提。 ### VAST SyncEngine DataEngine 上の外部ソース取り込み・同期サービス。S3 バケット・ファイルシステム・Confluence・Google Drive などから VAST DataStore への平行ブレス優先ツリー走査で同期。(Source: 本文 pp.124–125) ### VAST AgentEngine プロダクショングレードの AI エージェントデプロイ・オーケストレーション層。長時間実行コンテナのライフサイクル管理・永続状態・セキュアなサービスディスカバリを提供。マルチエージェントデプロイの監査証跡をサポート。(Source: 本文 p.539, p.4934 — ホワイトペーパー中の詳細節なし、紹介のみ) ## 強み - **統合**: Object Store・Database・Event Broker・ベクトルデータベース・Kubernetes・Kafka を単一クラスターに統合。独立クラスター間の同期・メタデータ管理・権限同期の複雑さを排除。 - **DASE のステートレス性**: CNode に書き込みキャッシュを持たないため、電源断後に管理介入なしで再起動。ローリングアップデートが数秒単位で完了。 - **一元ガバナンス**: InsightEngine での権限強制・監査が DataStore/DataBase と同じセキュリティドメインで動作。RAG のデータガバナンスが構造的に担保される。 - **線形スケール**: CNode 追加でクエリ・イベント処理・埋め込み生成が線形にスケールする設計。 ## 弱点・課題 - **ベンダーホワイトペーパー**: 性能数値は第三者機関による査読を受けておらず、信頼性が自己申告に依存する。 - **ロックイン**: 統合が深いほど、特定コンポーネント(例: 別 Object Store)への置き換えコストが高まる。 - **InsightEngine のファイル制約**: NFS 経由でインプレース更新されたファイルのベクトルはリアルタイム更新されない(スケジュール実行による差分更新)。頻繁なファイル変更ワークロードでは鮮度に制約がある。 - **AgentEngine の詳細不明**: 本白書では紹介のみで、実装詳細・性能評価は非公開。 - **Event Broker の制限**: 非同期レプリケーションや DataBase トランザクションへの拡張は「計画中」(2026年1月時点)。