# Flux Framework [[Lawrence Livermore National Laboratory]] が開発する、次世代 HPC ワークロードマネージャ。オンプレミスの HPC センターに典型的にデプロイされ、完全に階層的なリソース管理とグラフベースのスケジューリングを組み合わせて、インテリジェントなスケジューリングとジョブ管理を支える。2021年に R&D 100 award を受賞し、LLNL の次世代エクサスケール級システム「El Capitan」の主要スケジューラとして位置づけられている。「フレームワーク」と呼ばれるのは、`flux-core`(コアサービス)・`flux-pmix`(OpenMPI v5+ ブートストラップ用シェルプラグイン)・`flux-sched`(グラフベーススケジューラ Fluxion)・`flux-security`(セキュリティコード)・`flux-accounting`(ユーザーの銀行勘定・アカウンティング)という複数プロジェクトの集合体だからである。(Source: [[@2023__arXiv__The Flux Operator]] Table 1) - スケーラブルなツリー型オーバーレイネットワーク「TBON」(リーダー・フォロワーブローカーからなる有根木)を基盤コンポーネントに持ち、ZeroMQ で初期ネットワーキングを行う。組み込みの MPI・通信モジュールを持ち、標準の MPI ライブラリが高速インターコネクトに依存できるようにする。(Source: [[@2023__arXiv__The Flux Operator]] §2.2.1) - リソース検出には portable hardware locality(hwloc)ライブラリを用いるが、これはホスト全体の資源しか検出できないため、[[Kubernetes]] 上へ Flux を実装する際に「1 Pod = 1 物理ノード」というマッピングを厳守させる制約として現れる(Flux Operator の設計上の重要な帰結)。(Source: [[@2023__arXiv__The Flux Operator]] §2.2.1) - Flux のスケジューラ「Fluxion」は、Kubernetes 向けプラグインスケジューラ「Fluence」として先行研究([22, 23])で移植され、Kubernetes デフォルトスケジューラに対する性能改善が実証された。Flux Operator はこの技術的系譜の延長線上で、Fluxion 単体でなく Flux Framework 全体を Kubernetes 内で稼働させる試みである。(Source: [[@2023__arXiv__The Flux Operator]] §1) ## 関連 - 本ソース: [[@2023__arXiv__The Flux Operator]] - 関連組織: [[Lawrence Livermore National Laboratory]] - 関連システム: [[Kubernetes]] / [[MPI Operator]] - 関連概念: [[収束コンピューティング]] / [[トポロジ考慮型スケジューリング]]