# 機械学習の要否判断 Navigation: [[conventions]] | [[index]] ## 定義 機械学習の要否判断とは、与えられた分析課題に対して、機械学習によるモデル化に進む前に、探索的データ分析(EDA)だけで意思決定に足る知見が得られないかを見極める判断を指す。機械学習を使うこと自体を目的化せず、レポートの読み手(意思決定者)が次のアクションを判断できる知見を最短で届けることを目的に据える考え方である。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]]) ## 判断の手がかり Kickstarterの分析事例では、機械学習を使わずにEDAだけで章を完結させている。そこから読み取れる判断の手がかりは次のとおり。 - **単純な指標の正規化・可視化だけで説明力のあるパターンが見つかる場合、モデル化は必須ではない**。達成率という単一の派生指標と、ソート・ピボットテーブルだけで、非連続な特異点・国別傾向・キャンセル事例という複数の知見が得られている。 - **レポートの受け手が求めているのは予測モデルではなく、次の一手を判断できる材料であることが多い**。本事例のレポートも「今後機械学習を使ったデータマイニングを行うかどうか」を判断する材料として位置づけられており、レポート自体が機械学習の代わりではなく、機械学習に進むかどうかの前段の意思決定に使われている。 - **紙面・時間の制約下では、深掘りできなかった分析(自然言語処理が必要なテキスト特徴量など)を「今後行いたいこと」として明示的に切り分ける**ことで、EDAの範囲内でできることとできないことの境界を示せる。 - **非連続な報酬構造を持つ問題(関連: [[非連続な報酬構造の分析]])では、非連続点そのものに着目するだけで、モデル化なしに実務上有用な知見(例: 手数料回避行動の推測)が得られることがある**。 (Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]]) ## 構築か購入かの判断軸(ML利用が決まった後の意思決定) 『信頼性の高い機械学習』12章は、機械学習の要否そのものではなく、機械学習の利用が決まった後に来る「構築か購入か」という次段階の意思決定を扱う。同章のまとめ(§12.6)は、この2つの判断を明示的に順序づけている。まずビジネス目標を理解したうえで、その目標を達成するために機械学習が本当に必要かどうかを評価し、機械学習が解決策であると判断された場合に初めて、外部のサービスプロバイダが提供する既存のソリューションと統合すべきか(購入)、それとも機械学習システムを自分たちで構築するために投資すべきか(構築)を検討する、という2段階の流れである。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.6) モデル自体は組織固有のデータで訓練する必要がありローカルなものにとどまる(例外は転移学習)ため、構築・購入の対象になりにくい。一方、モデルを作るためのツールやインフラ、データ処理インフラ、開発・データ・提供を統合するエンドツーエンドのプラットフォームは、層ごとに異なる基準で構築か購入かのトレードオフの対象になる。判断は最低限、性能見積もり(ニーズを満たすか、カスタマイズやデータのプライバシー・セキュリティ要件は満たされるか)・投資(NPV/ROI、総所有コスト)・時間(開発と実稼働開始までの速度)・競争優位性(独自の知的財産をもたらすか)・メンテナンスとサポート(継続的な労力とコスト)という5要素に重み付けしてスコアリングすることで行う。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.4, §12.4.4) ## 機械学習が有効に働く条件(必要条件とアンチパターン) 『機械学習システムデザイン』1章は、EDAでの見極めや構築/購入のスコアリングとは異なり、「機械学習という手法一般がそもそも有効に働くための必要条件」を5つ挙げる形で要否判断の土台を与える。機械学習が問題解決に有効なのは、❶データが利用可能または収集可能で、❷学習できる複雑なパターンが存在し、❸システム自身にそのパターンを学習する能力があり、❹未知のデータが訓練データと似た分布を共有し、❺予測可能な回答を求める問題として定式化できる、という5条件を満たす場合である。加えて、タスクが反復的・誤った予測のコストが低い・大規模に予測する必要がある・パターンが継続的に変化する、という4つの特徴を持つ問題ほど機械学習ソリューションが輝きを放つ。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1) 同章は逆に、機械学習を使うべきでない状況として、非倫理的な用途・よりシンプルな解決策(ルックアップテーブル等)で足りる問題・費用対効果が見合わない問題という3つのアンチパターンを明示する。ただし問題全体を機械学習で解けなくても、問題をより小さな構成要素に分割し、その一部だけを機械学習で解決できる場合がある(例: 全問い合わせに応答できないチャットボットでも、FAQとの一致予測にだけ機械学習を使う)としており、「使わない」判断が「一部だけ使う」判断へ緩和される余地を残している。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1) ## 横断的知見 - **「機械学習を使うか」と「構築するか購入するか」は、独立した基準を持つ別段階の意思決定として描かれる**: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]] は、EDAだけで意思決定に足る知見が得られるかを見極める「機械学習を使うかどうか」自体の判断を扱う。一方 [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.6 は、機械学習を使うと決まった後にはじめて発生する「構築か購入か」という別種の判断を扱い、両者を明示的に順序づけている(ML必要性の評価 → 構築/購入の検討)。前者が「モデル化するかどうか」という定性的な見極め(単純な可視化で足りるか)を基準にするのに対し、後者は5要素のスコアリングという定量的な比較の枠組みを持つ点でも判断の性質が異なる。2冊を並べると、「機械学習の要否判断」は単一の判断点ではなく、少なくとも「そもそもMLが要るか」「要るなら何を自作し何を調達するか」という2段階の意思決定の連鎖として捉え直せる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]], [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.6) - **「そもそもMLが要るか」の判断軸自体が、3冊で抽象度の異なる形で与えられる**: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]] はEDAだけで意思決定に足る知見が得られるかという個別事例からの帰納的な見極めを示し、[[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.6 は構築/購入という後段の判断軸を示す一方で「そもそもMLが要るか」自体の判定基準は詳述しない。これに対し [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1 は、個別事例に依存しない一般的な必要条件(❶データ availability〜❺予測可能な問題への定式化)とアンチパターン(非倫理的・単純解で足りる・費用対効果が合わない)を演繹的に定義しており、前2冊が実例や後段の判断で扱ってきた「ML要否」の前提となる、より上流の判定基準を補っている。3冊を並べると、要否判断は「一般的な必要条件を満たすか(機械学習システムデザイン)」→「個別事例でEDA等の単純な手法で足りないか(仕事ではじめる機械学習)」→「機械学習を使うと決めた後に何を構築/購入するか(信頼性の高い機械学習)」という三段構えとして整理できる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]], [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] §12.6) - **内部での要否判断(仕事ではじめる機械学習ch.9、機械学習システムデザインch.1、信頼性の高い機械学習ch.12)はいずれも判断者と実行者が同一組織に属することを暗黙の前提とするが、[[@2023__OReillyJapan__機械学習システムデザイン - Appendix A 機械学習システムを外部に提供する]]は判断者(受託企業)と依頼者(顧客企業)が別法人である場合に生じるインセンティブの非対称性を明らかにする**: 前掲3ソースはいずれも「機械学習が本当に必要か」を判断する主体を明示しないが、暗黙のうちに組織内の担当者・チームが自らのプロジェクトについて判断する構図を前提にしている。付録A §A.2.1, §A.3.1は、これとは異なる構図——顧客企業が漠然と「AI」を求めて相談し、受託企業のデータサイエンティストが「そもそも機械学習・AIで解決できる問題なのか」を代わりに判断する構図——を扱う。この構図では、顧客側が先進性のアピールやプレスリリース等の理由で機械学習の要否とは無関係に「AI」という言葉にこだわる可能性がある一方、受託企業側には契約を獲得したいという経済的インセンティブが働くため、要否判断そのものが利害の対立を含みうる。[[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1の5必要条件・アンチパターンのような判断主体によらない一般的な判定基準は、この利害対立の中でも受託企業側が拠り所にできる客観的な物差しとして機能しうることが、付録Aとの突き合わせで見えてくる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Appendix A 機械学習システムを外部に提供する]] §A.2.1, §A.3.1, [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] §1.1) ## 未解決の問い - 受託企業が要否判断において「金槌を持っているから釘に見える」バイアス(付録A §A.1)に陥らないようにする客観的なチェック手段は、『機械学習システムデザイン』1章の5必要条件・アンチパターン以外に本ページの他ソースにあるか。 - 「EDAで十分」と「機械学習が必要」を切り分ける定量的な基準(例: 説明できる分散の割合、意思決定に必要な精度)は何か。 - 本書の他章(第4章システム設計、第6章機械学習基盤)で語られる機械学習導入の前提条件と、本章の「使わない」判断はどう接続するか。 - 機械学習を使わない判断をした後、その判断が正しかったかどうかを事後的にどう検証するか(本章では検証されていない)。 - 『信頼性の高い機械学習』12章の構築/購入スコアリング(性能見積もり・投資・時間・競争優位性・メンテナンスとサポート)は、『仕事ではじめる機械学習』9章的な「そもそもMLが要るか」の判断にも転用できる定量的な枠組みになりうるか。両書とも、前段の判断(要否)と後段の判断(構築/購入)を接続する共通の評価軸は示していない。 - 『機械学習システムデザイン』1章の5必要条件(❶〜❺)とアンチパターン(非倫理的・単純解で足りる・費用対効果が合わない)は定性的な判定基準にとどまり、条件を「どの程度」満たせば十分かの閾値は示していない。『仕事ではじめる機械学習』9章のようなEDA先行の個別事例判断や、『信頼性の高い機械学習』12章の定量スコアリングと、この5条件を接続する共通の評価軸は3冊のいずれにもまだない。 ## 関連 - ソース: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 12 製品とMLの関わり方]] / [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 1 機械学習システムの概要]] / [[@2023__OReillyJapan__機械学習システムデザイン - Appendix A 機械学習システムを外部に提供する]] - 概念: [[探索的データ分析]] / [[非連続な報酬構造の分析]] / [[ML製品開発フェーズ]] / [[機械学習プロジェクトの進め方]] ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第9章. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 12章 §12.4, §12.4.4, §12.6. - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 1章 §1.1. - 宮川大輔, 「付録A 機械学習システムを外部に提供する」, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, §A.2.1, §A.3.1.