# 探索的データ分析 Navigation: [[conventions]] | [[index]] ## 定義 探索的データ分析(EDA)とは、モデルを構築する前に、生データを直接眺め、ソート・ピボットテーブル・ヒートマップなどの単純な集計と可視化を使って軸を切りながら仮説を立てていく作業を指す。目的はモデルの精度を上げることではなく、データそのものへの肌感覚を養い、意思決定に足る知見をモデルなしで得られるかどうかを見極めることにある。生データを眺めた肌感覚がなければ、後に機械学習を行う際にも実行結果の異常に気付くことが難しくなる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]]) ## 手順の型 Kickstarterのデータ分析を題材にした事例では、次の順序でEDAが進められている。 1. **生データをそのまま眺める**: 集計や可視化の前に、Excelなどでレコードをそのまま表示して眺める時間を取る。散布図行列のような高度な可視化より先に行う。 2. **正規化した指標を作る**: 目標金額のようにスケールが異なる変数は、比率(達成率=pledged/goal)に変換してから横断比較する。 3. **単純な集計から始める**: 降順ソート、単一軸のグラフ化など、最も単純な集計から始める。この段階で「グラフが壊れている」「特異点がある」といった異常に気付ける。 4. **ピボットテーブルで軸を増やす**: 気になった指標を縦軸に固定し、件数・比率・平均値などを複数軸で比較する。カラースケールによるヒートマップは複数軸を素早く見比べるのに有効。 5. **気になった箇所を個別事例で深掘りする**: 集計上の異常(例: 目標金額達成後のキャンセル)が見つかったら、集計を離れて個別の事例を追い、背後の動機を推測する。 6. **意思決定に足るレポートにまとめる**: 分析の精緻さより、読み手が次のアクション(機械学習に進むかどうかを含む)を判断できる粒度で止める。 (Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]]) ## 横断的知見 - **EDAは「モデル化前の要否判断ツール」と「モデル運用中の監視設計ツール」という2つの異なる文脈で独立に重要性を持つ**: 本ページのKickstarter事例(『仕事ではじめる機械学習』第9章)は、EDAをモデルを作る**前**に生データを眺め機械学習が必要かどうかを判断する活動として定義する。一方、[[データの段階]]が扱う『信頼性の高い機械学習』第2章は、データ監視で重要な洞察は様々な軸に沿ったデータのスライスであり、「どの軸でデータをスライスするのが最適かを決めることはEDAにおける重要な活動である」と、モデル運用中の監視設計の文脈でEDAに言及する(手順自体には立ち入らない)。両者を並べると、EDAは段階を横断する汎用的な作業であり、モデル化前の意思決定だけでなく、モデル運用後のデータ監視軸の選定にも同じ「生データを眺めて仮説を立てる」能力が転用されることがわかる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]], [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 2 データマネジメント]] §2.2) ## 未解決の問い - EDAだけで意思決定に足ると判断する基準と、機械学習によるモデル化に進むべきと判断する基準の境界はどこにあるか(関連: [[機械学習の要否判断]])。 - 対数分布する変数をピボットテーブルで集計する際の手動ビン分割は、Pythonのビン分割関数(`pandas.cut`等)を使った場合と比べてどの程度のコストで代替できるか。 - EDAの過程で見つかった「非連続点」や「異常な集中」を、他ソースの類似手法(例: 変化点検知)とどう関係づけられるか。 ## 関連 - ソース: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 9 Kickstarterの分析、機械学習を使わないという選択肢]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 2 データマネジメント]] - 概念: [[機械学習の要否判断]] / [[非連続な報酬構造の分析]] / [[データの段階]](運用中のデータ監視軸選定としてのEDA) ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第9章. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 2 章(§2.2).