## 定義 Uplift Modelingとは、ランダム化比較試験(RCT)によって得た実験群・統制群のデータから、個体が介入行為に対してどのように反応するかを予測する機械学習手法である。疫学統計(どの患者に薬が効くか)やダイレクトマーケティング(どの顧客にダイレクトメールが効くか)で使われる。対象は、介入行為なし/ありのそれぞれでコンバージョン(CV)するか否かを軸に、無関心(介入の有無に関わらずCVしない)・説得可能(介入があって初めてCVする)・天邪鬼(介入するとCVしなくなる)・鉄板(介入の有無に関わらずCVする)の4セグメントに分類される。介入すべきは説得可能セグメントのみであり、天邪鬼セグメントへの介入は避け、無関心・鉄板セグメントへの介入はコストが伴うなら控える。最も原始的な実装は、実験群・統制群それぞれに独立したコンバージョン予測モデルを学習し、両モデルの予測値の比を1次元のUpliftスコアとする2モデル法である。性能評価にはArea Under the Uplift Curve(AUUC)を用いる。AUUCは、Upliftスコアの高い順に走査したときの実験群・統制群のコンバージョンレートの差(lift)の累積曲線と、ランダムに介入した場合を想定したベースライン直線とに囲まれた面積を正規化した指標であり、値が大きいほどUplift Modelingの性能が高い。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]] §10.1, §10.4, §10.5) ## 横断的知見 1 ソース目のため、複数ソースの突き合わせによる横断的知見は今後の蓄積に委ねる。ただし、本書内の既存concept 2件とは明確な接続がある。[[A-Bテスト]]が母集団全体に対して「どちらのパターンが優れているか」という1つの判定を下す手法であるのに対し、本概念は同じRCTの枠組み(実験群/統制群)を出発点にしながら、個体の特徴量に応じて反応が異なることを利用し、判定の粒度を個体レベルまで細かくする。また[[因果効果の推定]]が母集団レベルの平均処置効果(ATE)を扱うのに対し、本概念の四象限モデルは個体レベルの処置効果の符号(正か負か)によって対象を分類しており、実質的にCATE(条件付き平均処置効果)/ITE(個体処置効果)の符号推定に相当する。両者の関係は、今後Uplift Tree・Causal Forest等の他手法を扱うソースが加わった際にさらに精査する。 - **11章の視点では、Uplift Modelingは「文脈付き多腕バンディットの固定割当版」に位置づけられる**: 11章(図11-15)は、A/Bテスト・Uplift Modeling・バンディット・文脈付きバンディットの4手法を「文脈の有無」×「割当が固定か動的か」の2軸で整理する。この整理によれば、本概念(Uplift Modeling)はA/Bテストに文脈情報の活用を足したものであり、[[多腕バンディット]]の文脈付き拡張(文脈付き多腕バンディット)は同じ文脈情報の活用を動的割当の側に足したものにあたる。つまりUplift Modelingと文脈付き多腕バンディットは「文脈情報を使う」という点で共通し、「実験群/統制群への割当を最初に固定するか、事後分布の更新に応じて動的に変えるか」という点で異なる。10章が2モデル法で構成するUplift Modelingの手続き(最初は100%ランダムに配信し、アーム・特徴量・報酬の関係を学習してから、ある時点でUpliftスコア最大のアームへ判断を切り替える)は、11章の言葉で言えば「文脈付き多腕バンディットのうち、探索期間と活用期間を人間が事前に固定して2段階に区切った特殊ケース」と再解釈できる。文脈付き多腕バンディットの実装(§11.8、ブートストラップ法によるTS法)は、この固定的な2段階構造を、ブートストラップ標本の分散に基づく動的な割当に置き換えたものにあたる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]] §10.1, §10.4, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 11 バンディットアルゴリズムによる強化学習入門]] §11.8, §11.10) - **AUUCによる事後評価と、文脈付きバンディットのオンライン最適化は異なる時間軸で不確実性を扱う**: 10章のAUUCは、RCTで得た固定データセットに対する事後的な性能評価指標である。これに対し11章の文脈付き多腕バンディット(§11.8)は、ブートストラップ法で得た予測分散を使ってオンラインで逐次的に割当を更新する。両者は「Upliftスコアが高い対象を優先する」という発想は共有するが、Uplift Modelingが学習と評価を切り離した静的なパイプラインであるのに対し、文脈付きバンディットは学習(モデル更新)と意思決定(アーム選択)を同一ループ内で繰り返す点が異なる。この違いは、Uplift Modelingを「動的化」する際に何を変更すべきかという設計指針を示唆する。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]] §10.5, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 11 バンディットアルゴリズムによる強化学習入門]] §11.8) ## 未解決の問い - 個体レベルのUplift(反実仮想)は本質的に観測不能であるため、2モデル法で得たスコアの妥当性を、真値と比較する形で厳密に検証する方法は何か。本ソースは10パーセンタイルごとの実験群/統制群コンバージョンレート比較という間接的な確認にとどまる。 - 本章では2モデル法のみを実装しているが、決定木を拡張したUplift TreeやSVMを拡張したアルゴリズムは脚注で言及されるのみで詳細は扱われない(§10.5)。これらとAUUCで比較した場合の優劣は本ソースの範囲外。 - 本番投入時にスコアが一定以上の対象全員へ介入し対照群を用意しない運用では、コンバージョン増分をテストデータの推定値でしか把握できないとされるが、その推定誤差がどの程度の運用リスクになるかは定量化されていない(§10.7)。 - AUUCと通常の分類問題におけるAUC([[分類モデルの評価指標]])は「ランダムからの改善を面積で測る」という設計思想は共通するが、両者の間に単なるアナロジー以上の数理的な対応関係があるかは本ソースでは触れられていない。 - 11章はUplift Modelingを「文脈付き多腕バンディットの固定割当版」と位置づけるが、この再定式化のもとで10章のAUUCに相当する評価指標をバンディット側でどう構成すべきか(Regretで代替できるのか、AUUCとRegretの数理的な関係は何か)は、10章・11章のいずれにも明示的な記述がなく未整理。 - Uplift Modelingを文脈付きバンディットとして動的化する場合、10章の2モデル法(統制群・実験群それぞれの独立モデル)と11章のブートストラップ法(§11.8)のどちらの不確実性推定がUpliftスコアの推定精度に適しているかは、両ソースとも直接比較していない。 ## 関連 - source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 10 Uplift Modelingによるマーケティング資源の効率化]] / [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 11 バンディットアルゴリズムによる強化学習入門]](文脈付き多腕バンディットとの関係) - concept: [[A-Bテスト]](本概念が拡張する母集団単位の判定手法) / [[因果効果の推定]](本概念が個体レベルへ細分化する母集団レベルの処置効果推定) / [[分類モデルの評価指標]](AUUCの設計がアナロジーとするAUC) / [[多腕バンディット]] / [[探索と活用のトレードオフ]](本概念が固定割当版にあたる一般的な問題設定) ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第10章, §10.1, §10.4, §10.5, §10.7, 第11章, §11.8, §11.10.