Lustre Operations Manual - yuuk1's Digital Garden

# Lustre Operations Manual ## 概要 [[wiki/entities/Lustre|Lustre]] の公式運用マニュアルであり、[[Whamcloud]] が DocBook 形式で継続的に保守している。アーキテクチャの導入から、ハードウェア構成の見積り、LNet とファイルシステムの設定、日常運用と保守、ファイルレイアウト・クォータ・セキュリティの管理、性能チューニング、障害対応とリカバリまでを一冊で扱う。実装内部を解説する [[Understanding Lustre Internals]]、設計進化と運用実績を扱う [[Lustre Unveiled]] に対し、本書は**運用者が実際に何をどう設定し、何が壊れたときにどう対処するか**を規定する一次文書である。三者を併読すると、設計思想・実装構造・運用手順が接続する。 ## 書誌情報 - 書名: *Lustre Software Release 2.x Operations Manual* - 保守: [[Whamcloud]](DocBook 形式で継続ビルド) - 著作権: Oracle and/or its affiliates(2010, 2011、原版)/ Intel Corporation(2011, 2017、改変部分) - ビルド: Revision 0, Built on 26 May 2026(本 wiki 化の原本) - URL: https://doc.lustre.org/lustre_manual.xhtml - 構成: 6 部・全 45 章 + Preface / Glossary / Index - 本 wiki 化の範囲: 第 1〜38 章(設計・運用章)。第 39〜45 章はコマンド・パラメータ・C-API のリファレンス章のため取り込んでいない。 ## 構成と主要テーマ本書は「Lustre とは何かを理解する → 構築する → 運用する → 速くする → 壊れたときに直す」という順に 6 部が並ぶ。設計文書ではなく運用手順書であり、各機能は「どう設定し、何を守らないと壊れるか」の水準で書かれている。 ### 第 I 部導入(第 1〜3 章) 以降 35 章が前提とする語彙 — コンポーネント、ネットワーク、フェイルオーバ — を定義する。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 1 Understanding Lustre Architecture]] — MGS/MDS/MDT/OSS/OST・クライアント・LNet の構成要素と、ストライピングによるファイル分散を定義する入口章。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 2 Understanding Lustre Networking (LNet)]] — LNet の位置づけ、複数ネットワーク種別の同時サポートとルーティング、LND によるプラガブル実装、NID 表記。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 3 Understanding Failover in a Lustre File System]] — Lustre はファイルシステム層のフェイルオーバしか提供せず、fencing・リソース管理・死活監視は外部 HA ソフトウェアが担う。MDT は active/passive または active/active、OST は通常 active/active。 ### 第 II 部導入と設定(第 4〜11 章) サイジングから最小構成の構築まで。構築時に決めると後から変えにくいもの(`fsname`・`index`・バックエンド種別)が集中する部である。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 4 Installation Overview]] — 導入 7 手順(必須 3・任意 4)と対応章を示す第 II 部の導入。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 5 Determining Hardware Configuration Requirements and Formatting Options]] — MGT/MDT/OST のストレージ選定、容量と inode 数の見積り、メモリ要件、`mkfs.lustre` のフォーマットオプション。MDT 大容量化は mirror-then-stripe が正しい。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 6 Configuring Storage on a Lustre File System]] — Lustre 自身は冗長性を持たないため RAID が前提。MDT は RAID 1 系、大規模 OST は RAID 6 以上。ldiskfs は `-E stride`/`stripe_width` で RAID ジオメトリと 1MB RPC を整列させる。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 7 Setting Up Network Interface Bonding]] — Ethernet ボンディング(任意)。モード 0〜3 は負荷分散と耐障害性、モード 4 は IEEE 802.3ad による集約。`bond0` を LNet の `networks` に指定する。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 8 Installing the Lustre Software]] — サーバ(パッチ済みカーネル・OSD・Lustre 版 e2fsprogs)とクライアント(patchless モジュールまたは DKMS)で非対称なパッケージ要件と導入順序。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 9 Configuring Lustre Networking (LNet)]] — `lnetctl`/DLC とモジュールパラメータの二方式、NID の決め方、LNet ルータの台数決定(必要帯域 +25%)、設定の永続化。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 10 Configuring a Lustre File System]] — `mkfs.lustre`/`mount -t lustre` による最小構成の構築、OST・クライアント追加によるスケーリング、設定ユーティリティ 4 種の役割分担。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 11 Configuring Failover in a Lustre File System]] — 電源制御と HA ソフトウェアの選定、`mkfs.lustre --servicenode` によるフェイルオーバペアの指定。 ### 第 III 部運用管理(第 12〜31 章) 本書で最も厚い部。日常運用・保守から、レイアウト・冗長性・キャッシュ・クォータ・セキュリティといった機能ごとの管理までを扱う。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 12 Monitoring a Lustre File System]] — ChangeLog による名前空間変更の記録と Jobstats によるジョブ単位 I/O 統計の紐づけ、LMT・CollectL 等の外部ツール。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 13 Lustre Operations]] — 起動は MGT→MDT→OST→クライアント、停止はその逆順。ターゲット単位のマウント制御、DNE、`conf_param` と `set_param -P` の使い分け。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 14 Lustre Maintenance]] — OST の非活性化・削除・復帰、MDT/OST の追加、NID 変更。`writeconf` の破壊性と `replace_nids` の使い分け。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 15 Managing Lustre Networking (LNet)]] — 稼働中 LNet の死活監視(router pinger と LND 受動通知)、スタンドアロン起動停止、動的ルート設定。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 16 LNet Software Multi-Rail]] — 複数インターフェースの束ね方、ピア探索、インターフェース選択、LNet Health による health value 追跡(既定は無効)。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 17 Upgrading a Lustre File System]] — メジャー/マイナーの互換性要件の違い、ローリングと停止型の使い分け、project quota・wide striping 等の不可逆な機能有効化。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 18 Backing Up and Restoring a File System]] — FID とレイアウトの喪失が落とし穴。ファイルシステム/デバイス/バックエンドの 3 レベル、`tar --xattrs`、`index_backup`、リストア後の OI Scrub・LFSCK。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 19 Managing File Layout (Striping) and Free Space]] — 本書最長の章。`lfs setstripe`、PFL・SEL・Foreign Layout という 3 段階のレイアウト発展形、空き容量ベースの割り当て(17% 閾値で round-robin と重み付けを切り替える)。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 20 Data on MDT (DoM)]] — 小ファイルのデータを MDT に置いて小ファイル I/O のレイテンシを改善し、同時に OST のシーク干渉から大ファイル I/O を守る。PFL の特殊形。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 21 Lazy Size on MDT (LSoM)]] — サイズとブロック数の近似値を MDT に持ち、全 OST への問い合わせを省く。正確さを捨てて問い合わせコストを下げる設計。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 22 File Level Redundancy (FLR)]] — ファイル単位のミラーリング。遅延書き込みで非 primary ミラーが stale 化し、`lfs mirror resync` で再同期する。OST プールによる fault domain 分離が実効性の前提。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 23 Managing the File System and I O]] — OST の空き容量偏りの是正(非活性化と `lfs_migrate`)、OST プール、Direct I/O、チェックサム、ptlrpcd スレッドプール。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 24 Lustre File System Failover and Multiple-Mount Protection]] — MMP による同一ターゲットの二重マウント防止。`kmmpd` がシーケンス番号を更新し、マウントに最低 10 秒かかる。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 25 Configuring and Managing Quotas]] — ユーザ/グループ/プロジェクトのクォータ。QMT と QSD による qunit 単位の枠貸借、グラントキャッシュによる EDQUOT の遅延顕在化。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 26 Hierarchical Storage Management (HSM)]] — MDT 上の Coordinator と Agent 上の copytool による archive・release・restore。自動スケジューリング機構は持たず外部ポリシーエンジン(Robinhood)に依存する。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 27 Persistent Client Cache (PCC)]] — クライアントローカルの SSD/NVMe を HSM 機構とレイアウトロックの再利用でグローバル名前空間へ統合する。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 28 Mapping UIDs and GIDs with Nodemap]] — NID 範囲でクライアントをポリシーグループに束ね、UID/GID/PROJID を正準空間へ変換する。未マップ NID は既定で squash される。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 29 Configuring Shared-Secret Key (SSK) Security]] — Kerberos を必要とせず GSSAPI 経由で鍵ファイルによる認証・整合性・機密性を提供する。skn/ska/ski/skpi の 4 フレーバ。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 30 Managing Security in a Lustre File System]] — ACL・root squash・namespace isolation・SELinux 強制・client-side encryption・Kerberos が、それぞれ何を防ぎ何を防がないか。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 31 Lustre ZFS Snapshots]] — 複数 MDT/OST にまたがる非アトミックなスナップショットを global write barrier による凍結で一貫させ、read-only でマウントする。 ### 第 IV 部性能チューニング(第 32〜34 章) 下の層から順に測って上限を特定し、そのうえでつまみを回す、という順序で並ぶ。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 32 Testing Lustre Network Performance (LNet Self-Test)]] — ファイルシステム層を経由せず LNet 単体を測る。session/group/batch/test の 4 階層と `ping`/`brw` の 2 種のテスト。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 33 Benchmarking Lustre File System Performance (Lustre I O Kit)]] — `sgpdd-survey`・`obdfilter-survey`・`ost-survey`・`mds-survey` で生デバイスから MDT まで層を切り分けて測る。raw device 比 85〜90% が健全性の目安。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 34 Tuning a Lustre File System]] — サービススレッド数、LNet と CPT、ロックレス I/O、NRS の各ポリシー(TBF ほか)、クライアント側 I/O とメタデータ。 ### 第 V 部トラブルシューティング(第 35〜37 章) 症状から入り、道具へ降りる。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 35 Lustre File System Troubleshooting]] — エラー番号の文脈依存性、Jira への報告手順、OST の read-only 化・ENOSPC・ウォッチドッグ・"went back in time" など 14 の頻出症状の切り分け。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 36 Troubleshooting Recovery]] — OSS/MDS/MGS クラッシュ後は原則 e2fsck 不要。破損時は e2fsck → LFSCK の 2 段階で、OI Scrub・namespace・layout の各コンポーネントを使い分ける。 → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 37 Debugging a Lustre File System]] — カーネル内リングバッファへの CDEBUG/CERROR 蓄積、`lctl debug_kernel`/`debug_daemon` による採取、`fail_loc` による障害注入、`ptlrpc` の `req_history`。 ### 第 VI 部リファレンス(第 38 章のみ取り込み) → [[@2026__Whamcloud__Lustre Operations Manual - Chapter 38 Lustre File System Recovery]] — 非同期コミットが生むクライアント/サーバの状態差を、XID とトランザクション番号によるリプレイ、リプライ再構成、VBR、Commit on Share、Imperative Recovery で埋め戻す。第 39〜45 章(Lustre Parameters・User Utilities・Programming Interfaces・llapi・Configuration Files and Module Parameters・System Configuration Utilities・LNet Configuration C-API)は、パラメータとコマンドの網羅的リファレンスであり、本 wiki 化の対象外とした。Preface・Glossary・Index も同様である。 ## 影響と位置づけ Lustre の一次文書として、本書は「設計思想」でも「実装の内部構造」でもなく、**運用者が守るべき手順と制約**を規定する位置にある。同じ対象を扱う 3 冊を並べると役割が分かれる。 - 本書 — 何をどう設定し、何が壊れたときにどう対処するか(運用) - [[Understanding Lustre Internals]] — obd デバイスモデル・FID 解決・libcfs といったコードの構造(実装) - [[Lustre Unveiled]] — 設計の変遷と Frontier での運用実績(設計進化) 本書には「なぜその設計になったか」の説明はほとんど無く、逆に他の 2 冊には `writeconf` の破壊性やクォータのグラントキャッシュのような運用上の落とし穴が出てこない。三者は重複が少なく、併読して初めて像が閉じる。 DocBook 形式で継続ビルドされる生きた文書であり、本 wiki 化は 2026-05-26 ビルド版を 2026-09-03 に取り込んだものである。バージョン依存の記述(Multi-Rail は 2.10、DoM は 2.12、FLR は 2.11 など)を多く含むため、原本は今後変化しうる。 ## 関連 - [[wiki/entities/Lustre|Lustre]] / [[Understanding Lustre Internals]] / [[Lustre Unveiled]] / [[Whamcloud]] / [[OpenSFS]] / [[並列ファイルシステム]] ## 出典 - *Lustre Software Release 2.x Operations Manual*, Whamcloud, built 2026-05-26. https://doc.lustre.org/lustre_manual.xhtml