# HPCジョブ会計とリソース利用可視化 ## 定義 HPC(高性能計算)クラスタのリソースマネージャ(PBS・SGE・SLURM・LSF等)が生成するジョブ実行ログを収集・正規化・集約し、ジョブ数・CPU時間・待機時間・ジョブサイズ分布などの利用状況指標を、センター運用担当者・利用者・PI(Principal Investigator)向けに可視化する営みである。オーバーサブスクライブ(供給過多申請)されがちなHPCリソースにおいて、効率監視と将来のアップグレード・調達計画の根拠を提供する。 ## 未解決の問い - ジョブ会計データ(誰がどれだけ使ったか)だけでは、そのジョブが「効率よく」リソースを使えているかは分からない。効率(CPU使用率・メモリ使用率等)まで踏み込むにはジョブレベルの性能計測が必要になるが、会計と性能計測をどこまで同一基盤に統合すべきかの設計判断はどのように行うべきか。 - 集約テーブルによるクエリ高速化(スペース対時間のトレードオフ)は、集約粒度(日次・週次・月次等)の選択にどのようなガイドラインを持つべきか。 ## 未編纂の観察 - [定義] [[Open XDMoD]]は、HPCセンター自身のリソースマネージャログをローカルに解析してジョブ会計データウェアハウス([[データウェアハウス]]、starflakeスキーマ)を構築するオープンソースツールであり、前身の[[UBMoD]]・XSEDE中央データベース依存の非公開版XDMoDを経て一般HPCコミュニティ向けに開発された。ロールベースアクセス制御(User/PI/Center staff/Center director/Public)により、同一データを異なる粒度・権限で提示する (Source: [[@2015__CiSE__Open XDMoD - A Tool for the Comprehensive Management of High-Performance Computing Resources]])。 - ジョブサイズ(コア数)別のCPU時間・待機時間分布を可視化することで、「1コアジョブの件数は最多だがコア時間消費への総インパクトは小さく、大規模並列ジョブがマシン全体のスループットを支配する」というHPCクラスタに特有のロングテール構造が可視化できる。これは高速インターコネクトへの投資対効果を判断する材料になる (Source: [[@2015__CiSE__Open XDMoD - A Tool for the Comprehensive Management of High-Performance Computing Resources]])。 ## 関連 - [[Open XDMoD]] — HPCジョブ会計を実装するオープンソースツール - [[データウェアハウス]] — ジョブ会計データの格納基盤 - [[アプリケーションカーネルによるHPC QoS監視]] — ジョブ会計を補完する能動的な品質保証手法 ## 出典 - [[@2015__CiSE__Open XDMoD - A Tool for the Comprehensive Management of High-Performance Computing Resources]]