# ML訓練システムの信頼性原則 Navigation: [[index]] | [[concepts/_index]] ## 定義 ML訓練システムの信頼性原則とは、[[信頼性の高い機械学習]]7章が、単純化された分散ML訓練システム(データ取り込み→特徴量ストア→訓練→品質評価→運用への同期という基本アーキテクチャ)を前提に提示する、システムの構築・運用時に念頭に置くべき11の経験則の集合である。特定の技術スタックに依存しない一般原則として提示されており、ML訓練固有の障害というより「一般的な分散システムの信頼性向上の作業をML特化の作業に先立って全て行うべきだ」という立場(原則1)を出発点に据える。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] §7.3) **11の原則**: 1. **ほとんどの障害はMLの障害ではない**: 経験豊富な実務家が長期間の障害を調べると、ほとんどはMLに特有ではなく一般的な分散システムの障害であることがわかる。ML特有の影響や検知の難しさを持つことは多いが、根本原因はML特有ではないことがほとんどである(§7.3.1)。 2. **モデルは再訓練される**: 一度だけ訓練して終わりというモデルは存在しないと仮定し、設定・スナップショット・データ/メタデータをバージョン管理して備える(§7.3.2)。 3. **モデルは複数のバージョンを持つ(しかも同時に)**: 同じモデルの複数バージョンを同時にホストする(モデルのA/Bテスト)には、モデル管理インフラとバージョン切り替えの仕組みが必要になる(§7.3.3)。 4. **良いモデルもいずれ悪くなる**: 非ML/より単純なMLによるフェイルセーフ実装、または複数バージョンの保存と切り戻し計画をバックアッププランとして用意すべきだが、どちらも世の中全体が変化した場合には限界がある(§7.3.4)。 5. **データが利用できなくなる**: データ損失には偏り(missing at random等の統計的分類)が生じうる。攻撃者が意図的に特定時間帯のデータをスキップさせ訓練に組織的な偏りを生じさせる可能性もセキュリティ上考慮すべきである(§7.3.5)。 6. **モデルは改善可能であるべき**: 新しいデータの追加以外にも構造的な変化要求が起こりうる。最も困難な変更は完全に新しい特徴量の追加である(§7.3.6)。 7. **特徴量は追加、変更される**: 特徴量ストアのスキーマ変更と過去データの埋め戻しは、注意深く調整しないと訓練システム内の全モデルの信頼性に影響しうる(§7.3.7)。 8. **モデルの訓練が速すぎる**: 分散型訓練の設定における複数の競合状態はよくある失敗原因であり、学習が速すぎるとかえって品質が劣化する現象がありうる。モデル状態を高速ストレージ(RAM)に保存し、複数プロセスの更新速度を構造的に制限することが主な緩和策である(§7.3.8)。 9. **リソースの活用は重要**: リソース利用率(使用した計算リソース÷支払った計算リソース)は信頼性の問題でもある。再訓練のためのヘッドルームが多いほど障害停止からの回復力が高まる(§7.3.9)。 10. **リソース利用率は効率ではない**: 効率(生み出された価値÷コスト)は利用率とは別の指標であり、金額連動コストとリソース連動コスト(GPU秒等)という2通りの計算方法を使い分ける必要がある(§7.3.10)。 11. **機能停止には復旧も含まれる**: 停止からの復旧にかかる時間(検知にかかる時間+再訓練にかかる時間)を合算しなければ、想定した停止許容時間内の確実な復旧は保証できない(§7.3.11)。 ## 横断的知見 - **同じ「基本アーキテクチャ」の描き方が、書籍を超えて驚くほど一致する**: 本書の図7-1(データ取り込み→特徴量ストア→訓練(MLフレームワーク)→品質評価→運用への同期、オーケストレーションと監視が全体を覆い、モデル設定・管理・メタデータが下から支える構成)は、[[機械学習基盤]]が集約する『仕事ではじめる機械学習』6章の4ステップ(共通の実験環境/予測結果のサービング/学習・予測共通処理のパイプライン化/モデルの継続的トレーニング・デプロイ)と、コンポーネント分解の粒度こそ違うが「実験・パイプライン・サービングを横断的に監視・メタデータ管理でつなぐ」という骨格を共有する。両者は異なる出版年・異なる著者チームでありながら独立に同じ構造へ収束しており、ML訓練基盤の基本アーキテクチャがある程度定着した業界共通認識であることを示唆する。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] §7.2, [[機械学習基盤]]) - **「訓練が速すぎる」という現象論的観察は、訓練不変条件の自動検証がまさに捕捉しようとする問題クラスと一致する**: 本書§7.3.8は、分散訓練で複数の学習プロセスが同じモデル状態を非同期に読み書きすることで生じる競合状態が、モデルを収束させず「一方向に大きく偏らせる」現象を、ツールなしの経験則(同じモデルをより速く/より遅く訓練し品質評価指標を比較する不便なテストしかない)として記述する。これに対し [[訓練不変条件]] が形式化する `Consistent(Va, Vb)` 関係(分散訓練の重み整合性)は、まさにこの種の競合状態由来の不整合を自動検知するために設計されている。一方は現象を経験的に言語化するにとどまり、他方はその現象を検知可能な不変条件として構造化するという、同じ問題への異なる成熟度からのアプローチである。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] §7.3.8, [[訓練不変条件]]) - **原則9・11の「ヘッドルーム」「復旧時間の合算」は、大規模LLM訓練の耐障害設計がETTR・チェックポイント間隔として定量化した内容の一般形にあたる**: 本書は「利用可能なリソースに比べてモデルを再訓練するヘッドルームが多いほど回復力は高まる」(§7.3.9)、「停止には検知時間と再訓練時間の両方を含めて考えるべきだ」(§7.3.11)と、汎用ML訓練を念頭に定性的に述べるにとどまる。[[耐障害LLM訓練]] が集約する数万〜数十万GPU規模のLLM事前学習の文献群は、これと同じ発想をETTR(有効訓練時間率)という連続量に定量化し、10万GPU級では約2分のチェックポイント間隔と約2分の再起動が必要になるという具体的な数値要件にまで落とし込んでいる。汎用MLの定性原則が、規模が上がるにつれて分単位の定量目標へ先鋭化していく様子が両ソースの対比から見える。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] §7.3.9, §7.3.11, [[耐障害LLM訓練]]) - **障害の主因が「ML特有ではない」という原則1は、規模を問わず繰り返し確認される観察と符合する**: 本書原則1は経験豊富な実務家の長期観察として「ほとんどの障害はMLに特有ではない」と述べる。[[耐障害LLM訓練]] が引く[[@1985__Tandem__Why Do Computers Stop and What Can Be Done About It]](1985年)やByteDanceの本番データ(インフラ障害は件数11%でもGPU時間の82%を占める)も、規模を問わずソフトウェア・運用・分散システム一般の問題が障害の実質を占めるという同じ構図を示す。汎用ML訓練システムの経験則と、10万GPU級LLM訓練の実測データが、40年の時間差と規模差を超えて同じ結論に至っている。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] §7.3.1, [[耐障害LLM訓練]]) ## 未解決の問い - 11の原則は本書の実務経験から帰納的に導かれたものであり、[[@2025__HPCA__Revisiting Reliability in Large-Scale Machine Learning Research Clusters]]のような大規模クラスタの実測研究のような定量的裏付けは示されていない。原則9(リソースヘッドルームと回復力)・原則11(復旧時間の合算)は、ETTRのような指標でどこまで定量的に検証できるか。 - 原則8(訓練が速すぎる)が挙げる緩和策(モデル状態を高速ストレージに保存し更新速度を制限する)は、[[訓練不変条件]]のような自動検知の仕組みと組み合わせることで、経験的な「不便で苛立たしい現実的なテスト」を代替できるか。 - 原則1〜11は汎用ML訓練システムを対象に述べられているが、強化学習システム(本章脚注2で明示的に対象外とされる)や、[[耐障害LLM訓練]]が扱う数万GPU級のLLM事前学習に、これらの原則はそのまま適用できるのか、それとも規模や訓練形態に応じて修正が必要になるのか。 ## 関連 - 概念: [[機械学習基盤]] / [[訓練不変条件]] / [[耐障害LLM訓練]] / [[MLモデルの脆弱性の所在]] - ソース: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] - 実体: [[信頼性の高い機械学習]] ## 出典 - [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] — Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』第7章, オライリー・ジャパン, 2024, §7.3.