## 定義 CTR予測(Click Through Rate Prediction、広告クリック率予測)とCVR予測(Conversion Rate Prediction、コンバージョン率予測)は、[[リアルタイム入札]]における「オーディエンスのレスポンス予測」を担う代表的な予測タスクである。広告を表示したときにオーディエンスが広告をクリックする確率、あるいはクリック後に広告主が指定した行動(商品購入・サービス利用開始などのコンバージョン)に至る確率を予測する。実装は二値分類器としてロジスティック回帰・GBDT・Factorization Machineがよく使われるが、リアルタイム入札の定式化(期待効用の計算)では予測結果を0/1のラベルではなく確率として利用するため、モデルの出力が妥当な確率になっているかに注意を払う必要がある。実務では広告のクリック率とクリック後の商品購入確率の2つに分けて予測するケースが多い。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 12 オンライン広告における機械学習]] §12.3.1) ## 推論時間の制約とサーバー費用への波及 CTR予測・CVR予測の推論は、入札リクエストが届いた時点でオークションの時間制限内に完了しなければならない。表示可能な広告が100個ある場合、広告あたりの持ち時間は100マイクロ秒程度しかなく、クリック率とコンバージョン率を別々に予測する場合は予測器あたりの持ち時間がさらに半分になる。時間のかかる前処理も許されないため、特徴量のエンコード結果をKey-Value Storeに事前に格納しておくといった工夫が必要になる。この制約は単に「間に合えばよい」という話にとどまらない。推論速度が遅くなりサーバーのレスポンスタイムが倍になると、サーバーあたりのスループットが半分になり、同じリクエスト量を捌くのに必要なサーバー台数が倍になる。つまり推論速度はサーバー費用に直結しており、GBDTの決定木数のような推論速度に影響するハイパーパラメータは、予測精度と推論速度のバランスを取って決める。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 12 オンライン広告における機械学習]] §12.3.1) 学習データ側の課題(フィードバックループ・不均衡データ・高カーディナリティなカテゴリ変数・打ち切りデータ)は[[教師データのためのログ設計]]を参照。CTR予測がこれらの課題への対処(Negative Down Sampling、Entity Embeddings等)を必要とする理由は、上記のとおり推論API側の制約(推論時間・利用できる特徴量の種類)と密接に結びついている——たとえば「直近60秒以内のオーディエンスの行動」のような特徴量は、高速な読み書きが可能なストレージが既存になければ実装工数の観点から採用が見送られる。 ## 横断的知見 1 ソース目のため、複数ソースの突き合わせによる横断的知見は今後の蓄積に委ねる。ただし本書内の既存概念とは接続点がある。CTR予測の学習データは、システムが実際に入札・表示した広告に対するレスポンスに限られるという意味で[[多腕バンディット]]が扱うLogged Bandit Feedback(選んだアクションに対するレスポンスしか観測できない設定で生成されたデータ)そのものである。多腕バンディットのアーム選択と異なり、CTR予測は個々の入札判断を能動的に制御する主体ではなく、レスポンス予測というインプットを提供する側であるが、予測モデル自身の訓練データがシステムの過去の行動によって偏っているという点で、両者は同じ構造的な問題(フィードバックループによる選択バイアス)を共有している。この関係の詳細は[[教師データのためのログ設計]]の横断的知見で扱う。 ## 未解決の問い - モデルの出力確率の「妥当性」(キャリブレーションされているか)を、Negative Down Samplingによるキャリブレーション式適用後にどう検証するかは、[[教師データのためのログ設計]]と合わせても具体的な検証手順が示されていない。 - CTR予測とCVR予測を別々の予測器に分ける設計(§12.3.1)と、まとめて1つのマルチタスク学習器にする設計との比較は、本ソースの範囲外。 - 推論時間100マイクロ秒という制約のもとで、Factorization Machineとニューラルネットベースの手法(Entity Embeddings込み)の推論速度がどう異なるかは、本ソースでは名前が挙がるのみで定量比較がない。 ## 関連 - source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 12 オンライン広告における機械学習]] - concept: [[リアルタイム入札]](本概念が提供するレスポンス予測を利用する最適化の枠組み) / [[教師データのためのログ設計]](学習データ側の課題と対処) / [[多腕バンディット]](Logged Bandit Feedbackという構造的な共通点) ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第12章, §12.3.1.