# Understanding Large-Scale HPC System Behavior Through Cluster-Based Visual Analytics > [!abstract] 概要(abstract の日本語訳) > ハイパフォーマンスコンピューティング(HPC)環境では、システム監視データはしばしばラベル無しかつ高次元であり、異常な計算ノードを信頼して検知・理解することが難しい。 > 収集データセットの規模と次元の増大は、分析と可視化の作業に大きな課題をもたらす。 > 本稿では、HPC システムにおける計算ノード挙動の探索・説明・比較を支援する、スケーラブルで対話的なビジュアルアナリティクスシステムを提示する。 > 提案手法は、対照学習とマルチ解像度動的モード分解を組み合わせた二段階次元削減による分析ワークフローを統合し、クラスタ間およびクラスタ内の変動を捉える。 > これらの分析は対話的インタフェースに埋め込まれ、利用者はカスタマイズ可能な視覚符号化とベースラインを通じてクラスタを探索し、時間パターンを比較し、仮説を反復的に洗練できる。 > CPU 利用率やメモリ活動などのメトリクスを統合することで、大規模システム挙動の全体像を提供する。 > 2 件のケーススタディで本ツールの有用性を示す。 > いずれのケースでも、本システムは意味のあるノードクラスタを自動同定し、ノード群の内部および群間の微妙な挙動差を明らかにした。 > 専門家からのフィードバックは、異常挙動の検知と解釈を強化する本ツールの有効性を確認した。 > 本研究は HPC 監視向けのスケーラブルな視覚分析を前進させ、解釈可能性と挙動分析が運用効率に重要なクラウド、エッジコンピューティング、分散インフラへも広い含意を持つ。 ## 論文情報 - タイトル: Understanding Large-Scale HPC System Behavior Through Cluster-Based Visual Analytics - 著者: [[Allison Austin]](UC Davis)、[[Shilpika]](ANL)、[[Yan To Linus Lam]](UC Davis)、[[Yun-Hsin Kuo]](UC Davis)、[[Venkatram Vishwanath]](ANL)、[[Michael E. Papka]](ANL / UIC)、[[Kwan-Liu Ma]](UC Davis) - 媒体: ISC 2026(DOI: 10.23919/isc.2026.11520496)。プレプリント arXiv:2604.11965 - 発表年: 2026 - URL: https://arxiv.org/abs/2604.11965 / https://doi.org/10.23919/isc.2026.11520496 - Index Terms: visual analytics, time-series, multidimensional, multivariate, clustering, HPC, performance, monitoring ## 概要 ラベル無し・高次元の HPC 監視データから、ノード挙動クラスタの探索と異常解釈を対話的に行うビジュアルアナリティクス(VA)システムを提案する。分析モジュールは inter-cluster(MulTiDR + k-means + ccPCA)と intra-cluster(mrDMD + ベースライン相対 z スコア)の二層からなり、可視化モジュールの 4 ビュー(Time Domain / Node Similarity / Metric Reading / Node Behavior)がそれらを協調表示する。Ganglia ログ(FNAL)と Theta 環境ログの 2 ケース、スケーラビリティ評価、DR 手法比較、専門家インタビューで妥当性を示す。 ## 問題設定 HPC 監視はセンサ由来の高頻度メトリクスを蓄積するが、既存ツールは基本状態の記述に留まり、因果関係の同定を阻む。実データでは次が課題となる。 - 隠れハードウェア障害による潜在的劣化 - CPU・ネットワーク・I/O・スケジューリングをまたぐ複雑な依存と連鎖障害 - 動的ジョブ割当・環境ノイズによる高次元で可変なデータ - 異常ラベルの欠如と、ログ文脈への限定的アクセス 設計要件(R1–R5): データ概観とパターン探索、クラスタ間差の説明、異常ノードの強調、生データ検証、inter/intra 分析の遷移支援。 データはノード×時間×メトリクスの 3 階テンソルとして扱う。「cluster」は行動空間上の挙動群を指し、物理ハードウェアは system / compute・buffer nodes と呼ぶ。 ## 提案手法 ### 分析モジュール **Figure 1: Analysis workflow** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig01-analysis-workflow.png]] (Figure 1. inter-cluster と intra-cluster の二系統。利用者入力で結果を洗練し、下線要素がインタフェースに可視化される。) **Inter-cluster**: MulTiDR により、まず時間軸を PCA で圧縮し、続いてメトリクス軸を UMAP で 2D 埋め込みへ落としてノード関係を得る。既定は UMAP(`n_neighbors=15`, `min_dist=0.1`)と k-means(`k=4`、UI で変更可)。クラスタ差の説明には ccPCA の one-versus-rest を用い、各クラスタの識別に効くメトリクス重みを得る。 **Intra-cluster**: 選択クラスタの時系列に mrDMD とスペクトル上の周波数分離を適用し、IQR 由来または利用者指定のベースラインに対するモードの z スコアでノード×メトリクスの逸脱を測る。同一ノードで複数メトリクスが高/低 z となる組から相関の手がかりを得る。 ### 可視化モジュール **Figure 2: System interface** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig02-system-interface.png]] (Figure 2. (1) Time Domain(Figure 2-1)、(2) Node Similarity(Figure 2-2)、(3) Metric Reading(Figure 2-3 / Figure 2-3a 寄与バー / Figure 2-3b クラスタ平均折れ線 / Figure 2-3c 生系列)、(4) Node Behavior(Figure 2-4、z スコアヒートマップ)の協調ビュー。) **Figure 3: mrDMD z-score interaction** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig03-mrdmd-interaction.png]] (Figure 3. 時間窓選択→ベースライン領域の更新→mrDMD z スコア再計算の対話フロー。) Time Domain は全メトリクスが null の時間点を積み上げ棒で示し、障害前後の区間選択を助ける。Metric Reading は ccPCA 寄与でメトリクスを並べ、クラスタ平均折れ線と生系列検査を提供する。Node Behavior は選択メトリクス×選択ノードの z スコアヒートマップである。 ## 新規性 1. MulTiDR・ccPCA・mrDMD を単一ワークフローに結合し、クラスタ水準とノード水準の時間分析を両立する。 2. 分析段階のキャッシュにより低遅延な対話再実行を可能にし、複雑さを抽象化した UI を設計する。 3. 2 施設の実 HPC 監視データで評価し、ジョブログ・運用記録でパターンを検証する。 ラベル付き学習やオフライン再訓練に依存せず、中間推論を露出して人間検証を可能にする点が、Grafana 系ダッシュボードや Wintermute / ExaMon、少数変数向け VA との差分である。 ## 実験設定 - **ケース A(Ganglia)**: Tachyon / DUNE 関連。FNAL の Ganglia DAQ 監視。206 ノード、15 秒集約、31 メトリクス。1 日分(195 活性ノード、4,416 タイムスタンプ)。MulTiDR(PCA→UMAP)と k-means(`k=4`)。未計画ダウンタイムのログブックで検証。 - **ケース B(環境ログ)**: [[Theta]](Cray XC40、11.7 PF)。SEDC 環境ログ。半日(2018-06-09 00:00–13:19)、1,600 ノード、123 メトリクス、1,096 タイムスタンプ。UMAP(`n_neighbors=50`, `min_dist=0.5`)、k-means(`k=5`)。ジョブログで検証。 - **性能**: Apple M2 Max 12 コア / 64 GB。スケール実験と DR 比較(PCA / UMAP / t-SNE / LDA / ULCA / TULCA)。クラスタ品質は Silhouette・Davies–Bouldin・Calinski–Harabasz・Trustworthiness・Continuity。 - **専門家**: E1(ケース A 経験 10 年)、E2(ケース B 経験 20 年)への 1 時間インタビュー。 ## 実験結果 ### ケース A: Ganglia Time Domain で 18:00(クラスタ 0/1/3)と 21:00(全クラスタの null=計画停止)を検出。18:26 の未計画ダウンタイム(~25 分)と整合。 **Figure 4: Ganglia intra-cluster (c0)** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig04-ganglia-intracluster.png]] (Figure 4. Figure 4-1 の小サブクラスタ、Figure 4-2 の寄与メトリクス選択、Figure 4-3 の z スコア差、Figure 4-4 のログブック記載ノード 61,78,92,130,142 の対応。) ログ記載のバッファノード群は概ね c0 で `disk_total` / `boottime` の z が高く、node 165 のみ c1 で安定。node 130 は複数メトリクスで高い z。 **Figure 5: CPU nice inter-cluster** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig05-cpu-nice-intercluster.png]] (Figure 5. `cpu_nice` が c0 の一意性に強く寄与。低い値は高優先ジョブによる CPU 時間占有を示す。) ### ケース B: 環境ログ DR は 4 大クラスタ + 2 小クラスタ。c2 は全期間 null が多くジョブ未割当で、選択特徴の z がベースラインを大きく下回る。 **Figure 6: Environment logs inter-cluster (c1 vs c2)** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig06-envlogs-intercluster.png]] (Figure 6. ジョブ未割当の c2 と、全選択特徴で低い z スコア。) **Figure 7: Environment logs intra-cluster (c0)** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig07-envlogs-intracluster.png]] (Figure 7. Figure 7-1 の Node Similarity、Figure 7-2 の z スコア比較、Figure 7-3 の生系列。電力・電流の相関と、同一 cabinet/cage `c6-0c0` の 4 ノードにおける高い CPU0 温度。node `c6-0c0s0n3` の電力・電流がベースライン超。) ### スケーラビリティと DR 比較 **Figure 8: Pipeline scalability** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig08-pipeline-scalability.png]] (Figure 8. Figure 8a ノード数スケール(M=46 固定)、Figure 8b メトリクス数スケール(N=195 固定)。DR キャッシュで総計算が最大 2〜3 桁短縮し、再実行は 10 ms 未満。) **Figure 9: DR methods comparison** ![[_attachments/Understanding-Large-Scale-HPC-System-Behavior-Through-Cluster-Based-Visual-Analytics/fig09-dr-methods-comparison.png]] (Figure 9. 既定埋め込みの k-means ラベルを固定した PCA / UMAP / t-SNE / LDA / ULCA / TULCA の 2D 比較(Figure 9-2 は UMAP パネル)。UMAP が最も明瞭に分離。) | DR Method | Silhouette ↑ | Davies–Bouldin ↓ | Calinski–Harabasz ↑ | Trustworthiness ↑ | Continuity ↑ | |---|---:|---:|---:|---:|---:| | **Ganglia** | | | | | | | PCA | 0.418 | 0.881 | 0.0 | 1.0 | 0.86 | | UMAP | 0.755 | 0.289 | 0.207 | 1.0 | 0.609 | | T-SNE | 0.514 | 0.684 | 0.121 | 1.0 | 0.7 | | LDA | 0.751 | 0.484 | 1.0 | 1.0 | 0.542 | | ULCA | 0.925 | 0.165 | 0.524 | 1.0 | 0.82 | | TULCA | 0.818 | 0.397 | 0.0 | 1.0 | 0.71 | | **Environment** | | | | | | | PCA | 0.940 | 0.104 | 1.0 | 1.0 | 0.997 | | UMAP | 0.692 | 0.381 | 0.612 | 0.998 | 0.862 | | T-SNE | 0.591 | 0.545 | 0.202 | 1.0 | 0.747 | | LDA | 0.583 | 0.717 | 1.0 | 1.0 | 0.414 | | ULCA | 0.35 | 0.709 | 0.504 | 1.0 | 0.859 | | TULCA | 0.508 | 0.550 | 0.0 | 1.0 | 0.507 | (Table I. データセット横断で UMAP 構成が堅牢。Calinski–Harabasz は表中で正規化済み。太字は既定パイプライン。) ### 専門家フィードバック E1 は Time Domain がクラッシュ要因ノードの把握に有効とし、設定上書きによる誤設定ノード検知への期待を述べた。E2 は Node Behavior / Metric Reading と利用者定義ベースラインを評価し、メトリクスメタデータの充実を要望。両者ともリアルタイム監視への展開に関心を示した。 ## 考察 DR は時間依存の一部と埋め込み歪みを伴うが、大規模生データからの対話的クラスタ生成のための妥協と位置づける。現状は回顧分析中心で、前処理とリアルタイム更新が今後課題。テンソル構造(`Node × Metric × Time`)は汎用で、将来はネットワーク・I/O 等の異種テレメトリへ拡張予定。クラウド展開とインクリメンタルアルゴリズムも計画される。 ## 強み / 弱点・課題 **強み** - ラベル無し実 HPC データで inter/intra を一貫操作できる - DR キャッシュによる対話応答 - ジョブログ・ログブック・専門家による複数経路の検証 **弱点・課題** - PCA による時間圧縮で時間依存が失われる - ベースラインの統計抽出がメトリクス依存で、手動調整が必要 - パイプライン全体は N・M 増で素のままではスケールしにくい(キャッシュ前提) - オンライン/ストリーミング未実装 - 評価は 2 データセット・2 専門家に限定