# 信頼性の高い機械学習 ## 概要 「機械学習がどのように機能するかについての本ではなく、機械学習を機能させる方法について書かれた本」を標榜し、アルゴリズム指向ではなくシステム全体指向で ML ライフサイクル全体を扱う実務書である。既存の ML 書籍の多くが ML の取り組みをより簡単・より速く・より生産的にすることに焦点を当てるのに対し、本書は **ML の信頼性を高くする方法**という見落とされがちな特性に焦点を絞り、その検討装置として SRE のレンズを採る。(Source: [[信頼性の高い機械学習]] まえがき) 著者らは、現在の開発のベストプラクティスが「ML をエンドツーエンドで適切に実行する」という課題に直接対応していないと診断し、全体的・持続可能・顧客体験を念頭に置いた枠組みとして SRE を置く。ML システムは驚くべき挙動と間接的でありながら深い相互接続を持つため、開発・デプロイメント・実稼働運用・長期ケアを統合する包括的アプローチが要るというのが本書の出発点である。(Source: [[信頼性の高い機械学習]] まえがき) 説明の主要な装置として、繊維供給業者の仮想オンラインストア **yarnit.ai** を書籍全体で用いる。単一の比較的単純なビジネス(編み物・かぎ針編み製品の仕入れ・掲載・マーケティング・販売)に絞ることで、データ取得や正規化といった各段階の選択が記憶容量やビジネスへどう波及するかを追跡できるようにしている。検索結果のランキング、発見と提案、ダイナミックプライシング、カート放棄予測、在庫と発注の自動化、信頼と安心(不正検知)、マージン改善が、本書で繰り返し参照される ML 適用領域である。(Source: [[信頼性の高い機械学習]] まえがき) ## 書誌情報 - **書名**: 信頼性の高い機械学習 ―SRE 原則を活用した MLOps - **原書**: *Reliable Machine Learning: Applying SRE Principles to ML in Production* (O'Reilly Media, 2022) - **著者**: [[Cathy Chen]]、[[Niall Murphy]](Niall Richard Murphy)、[[Kranti Parisa]]、[[D. Sculley]]、[[Todd Underwood]] - **訳者**: 井伊篤彦、張凡、樋口千洋(異業種データサイエンス研究会) - **出版社**: 株式会社オライリー・ジャパン(発売元: 株式会社オーム社) - **発行日**: 2024 年 10 月 21 日 初版第 1 刷 - **ISBN**: 978-4-8144-0076-8 - **構成**: 全 15 章(まえがき + 本編 15 章) - **原書ノート**: [[books/Reliable Machine Learning - Applying SRE Principles to ML in Production|原書の既存ノート]] ## 構成と主要テーマ 著者らはまえがきで本書を 3 つのまとまりとして説明している。**概要と一般原則**(ML に慣れていない読者でも問題全体に触れられる導入で、以降の全章に影響する重要トピックを扱う)、**ML モデルとそのライフサイクル**(訓練・運用・監視と、その延長にある継続的 ML)、**組織**(障害対応の具体から始め、製品統合・組織実装・実際の事例へ進む)である。(Source: [[信頼性の高い機械学習]] まえがき) ### 概要と一般原則(第 1〜6 章) ML ライフサイクル全体の見取り図と、データ・モデル・特徴量・評価・倫理という以降の全章に効く前提を置く。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 1 はじめに]] — 著者らが「ML ループ」と呼ぶ終わりのない反復的な ML ライフサイクル(データ収集と分析→データマネジメント→ML 訓練パイプライン→アプリケーションの構築と検証→品質と性能の評価→SLO の定義と測定→ローンチ→監視とフィードバックのループ)の枠組みを、YarnIt という架空のオンライン小売店を例に提示する。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 2 データマネジメント]] — ML システムをデータ処理パイプラインとして捉え、データの段階(作成・取り込み・前処理・後処理)・信頼性(耐久性・一貫性・バージョン管理・性能・可用性)・保守性(セキュリティ・プライバシー・コンプライアンス)という 3 つの枠組みでデータマネジメントの実務を整理する。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 3 MLモデルの基礎]] — モデルアーキテクチャ/モデル定義/訓練済みモデルの区別と、訓練データ・ラベル・訓練方法に潜む脆弱性の所在、運用者向けの診断的な質問集を、yarnit.ai の毛糸クリック予測モデルを題材に示す。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] — 特徴量(定義と値の区別)・人間が生成したラベル(アノテーション体制・品質計測・能動学習)・メタデータという 3 つのサブシステムの設計を、特徴量ストアを中心に論じる。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 5 モデルの確実性と品質の評価]] — モデルの確実性(システムを壊さないか)とモデルの品質(役に立つか)という独立した 2 つの評価軸を、確実性チェック・評価データ分布の設計・評価指標の 3 分類に分けて体系立てる。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 6 公正さ、プライバシー、倫理的なMLシステム]] — 公平性の複数定義の非両立性(グループパリティ 対 キャリブレーション)、プライバシーの技術的・制度的対策、責任ある AI の ML パイプライン別チェックリストを扱う。 ### ML モデルとそのライフサイクル(第 7〜10 章) モデルの作成(訓練)と運用、その挙動を知るための監視、そして絶えず変化する現実に追随する継続的 ML へ進む。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 7 MLモデル訓練システム]] — 訓練システムの必要条件と基本アーキテクチャを示した上で、一般的な信頼性の原則、データ感度・再現性・計算リソース容量というよくある問題、組織的な構造上の信頼性課題を扱う。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 8 サービス運用]] — サービス運用アーキテクチャをオフライン・オンライン・サービスとしてのモデル(MaaS)・エッジの 4 類型に整理し、トラフィック・レイテンシ・ハードウェア・バージョン管理といった判断軸から選択指針を与える。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 9 モデルの監視と可観測性]] — 運用中の ML システムをモデル・データ・サービスの 3 レイヤーに分けて監視する枠組みを中核に、運用開始前の検証、ドリフトとデータ品質チェックの区別、ML 固有の SLO 設計までを体系化した、本書で最も長く実務的な章。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 10 継続的なML]] — 継続的な ML システムに特有の観察(外界の出来事・フィードバックループ・時間的影響・危機対応・段階的ローンチと安定ベースライン・モデル管理)を扱い、「全ての運用 ML システムは継続的な ML システムとして扱うべきである」という推薦で締めくくる。 ### 組織と実践(第 11〜15 章) 運用責任を持つ全てのエンジニアが共感できる障害対応から入り、製品統合・組織設計を経て、実務の事例で閉じる。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 11 障害対応]] — ML の障害対応は一般的な障害管理の骨格(FEMA 由来の役割分担を含む)を保ちつつ、検知の困難さ・関与組織の広さ・タイムラインの不明確さの 3 点で ML 特有の変化を伴うことを、長大な事例研究と役割別の枠組みで示す。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] — アジャイル開発の前提と ML の相性の悪さを論じたうえで、発見と定義からサポート・メンテナンスまでの循環モデルを提示し、構築か購入かの判断軸と yarnit.ai の推薦機能事例で締めくくる。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 13 MLの組織への統合]] — ML 実装がもたらす重大な組織リスク(魔法視・メンタルモデルの慣性・Westrum 組織類型による文化差・サイロ化の限界)と、[[Jay R. Galbraith]] のスターモデル(戦略・構造・プロセス・報酬・人材)による組織設計の枠組みを提示する。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 14 実践的なML組織の事例]] — YarnIt を舞台に、新規集中型・分散型・中央集権型インフラと分散型モデリングのハイブリッドという 3 つの組織シナリオを通じ、スターモデルのうちプロセス・報酬・人材の 3 要素が具体的にどう現れるかを描く。 → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] — [[Dialpad]]・[[Google]]・[[Landing AI]] という 3 社 6 事例の実践者自身による寄稿を通じ、フィードバックループ・実績値の代理性・プライバシーと再現性の緊張・ローカル計測と本番の乖離・反復的ラベル定義・上流依存の回帰テストという形で、1〜14 章の原則が実務でどう現れるかを示す。 ## 影響と位置づけ **対象読者**は、ML を現実世界に取り入れて組織に変化をもたらしたい全ての人であり、データサイエンティスト、ML エンジニア、ソフトウェアエンジニア、サイトリライアビリティエンジニア、そして非技術者を含む組織の意思決定者に及ぶ。著者らは「章の多くは、その章の主題テーマに従事していない人にとっても価値がある」と述べ、専門外の読者には新しいトピック領域への入門として機能すると位置づけている。(Source: [[信頼性の高い機械学習]] まえがき) **方法論上の立場**として、特定のソフトウェアに対する具体的な推奨を強調せず、プラットフォームに依存しないことを意図的に選んでいる。読者が直面する実装上の選択肢を網羅することは不可能だという判断に基づく。(Source: [[信頼性の高い機械学習]] まえがき) 著者らは、信頼性とセキュリティの近接を Heather Adkins らの『セキュアで信頼性のあるシステム構築』(オライリー・ジャパン, 2023)に見出し、信頼性の低いシステムが攻撃者によるアクセスに悪用されうる点で両者が切り離せないと述べている。(Source: [[信頼性の高い機械学習]] まえがき) **章のクレジット**は原則として個別に区別されない。各章には概念段階・レビュー段階・初稿段階・編集段階・完成段階のいずれにおいても全著者から重要な意見が寄せられているためである。コアチーム以外で多大な貢献をした場合のみ、当該章と以下に記載される。(Source: [[信頼性の高い機械学習]] まえがき) - 4 章: Robbie Sedgewick、[[Todd Underwood]] → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] - 6 章: [[Aileen Nielsen]] → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 6 公正さ、プライバシー、倫理的なMLシステム]] - 9 章: [[Niall Murphy]]、[[Aparna Dhinakaran]] → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 9 モデルの監視と可観測性]] - 15 章: 個々の事例に各著者(Cheng Chen、Daniel Papasian、Todd Philips、Harsh Saini、Riqiang Wang、Ivan Zhou)のクレジットが記載されており、明確さと一貫性を保つために編集されている → [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] **著者らの経験的基盤**として、大規模な広告ターゲティングシステムの運用化の支援、大規模な検索・発見システムの構築、運用環境における ML に関する研究の発表、およびそれらを包むデータの取り込み・処理・ストレージシステムの構築と運用が挙げられている。著者らは「これらのシステムが壊れるほど壮大で魅力的な方法のほとんどを直接目撃する機会に恵まれた」と述べ、そこから最も一般的な障害モードに技術的にも組織的にも耐性のあるシステムを構築する方法を学んだことを本書の立脚点としている。(Source: [[信頼性の高い機械学習]] まえがき) ## 関連 - 著者: [[Cathy Chen]]、[[Niall Murphy]]、[[Kranti Parisa]]、[[D. Sculley]]、[[Todd Underwood]] - 出版社: [[O'Reilly Media]] ## 出典 - Cathy Chen, Niall Richard Murphy, Kranti Parisa, D. Sculley, Todd Underwood, 井伊篤彦・張凡・樋口千洋訳, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024.