# インターリービング試験 ## 定義 インターリービング試験(interleaving experiments)とは、2つのレコメンドシステム(モデルA・モデルB)のどちらが優れているかを評価するために、ユーザーを2グループに分けてそれぞれ一方のモデルの出力のみを見せる[[A-Bテスト|A/Bテスト]]とは異なり、両方のモデルからのお勧めを1人のユーザーに混ぜて提示し、どちらのモデルのお勧めがクリックされるかを見る評価手法である。もともとThorsten Joachimsが2002年に検索ランキングの問題に対して提案した考え方が背景にある。A/Bテストがリテンション率や再生数のようなコアな指標を2グループ間で比較するのに対し、インターリービングはユーザーの嗜好を測定して2つのアルゴリズムを比較する。ユーザーの嗜好がコアな指標の向上に必ずつながるとは限らない点に注意が必要である。Netflixの実験によれば、インターリービングは従来のA/Bテストと比較して大幅に少ないサンプル数で確実に最適なアルゴリズムを特定できる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 9 実現場での継続学習とテスト]] §9.2.4) 複数のモデルからのお勧めをユーザーに表示する際には、お勧めの位置がクリックしやすさに影響する(最上部のお勧めが最下部より圧倒的にクリックされやすい)という位置バイアスに注意する必要がある。これを避けるため、どの位置のお勧めもモデルAが生成する確率とモデルBが生成する確率が等しくなるよう設計された「チームドラフト式インターリービング」という手法が使われる。スポーツのドラフトのプロセスを模したもので、それぞれのお勧めの位置に対してランダムにAかBを等しい確率で選択し、選ばれたモデルがまだお勧めしていないものの中から最も自信があるものを表示する。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 9 実現場での継続学習とテスト]] §9.2.4) ## 横断的知見 - (この概念ページは現時点で単一ソース([[@2023__OReillyJapan__機械学習システムデザイン - Chapter 9 実現場での継続学習とテスト]])からのみ構成されている。複数ソースの突き合わせが可能になり次第、この節に知見を追記する。) ## 未解決の問い - インターリービングが「大幅に少ないサンプル数で確実に最適なアルゴリズムを特定できる」とNetflixの実験が示す一方、ユーザーの嗜好(クリック)とコアな指標(リテンション率・再生数)の乖離がどの程度の頻度・規模で生じるかは、9章の記述からは判断できない。 - チームドラフト式以外のインターリービング手法(バランスド・インターリービング等)との比較は、9章では扱われていない。 - レコメンドシステム以外のドメイン(例: 検索ランキング以外の分類・回帰タスク)にインターリービングを適用できる条件は何か。9章は「複数モデルの出力を同時に1人のユーザーへ提示できる」ことを暗黙の前提としているが、この前提が成立しないタスク(単一の予測値を返す価格設定モデル等)への拡張は扱っていない。 - [[多腕バンディット]]・[[A-Bテスト|A/Bテスト]]とインターリービングを組み合わせた実験設計(たとえばインターリービングで絞り込んだ候補にバンディットを適用する等)は、9章のいずれの節でも明示的には扱われていない。 ## 関連 - 概念: [[A-Bテスト|A/Bテスト]](コアな指標を比較する対照的な評価手法) / [[多腕バンディット]](A/Bテストの動的割当への一般化という近い文脈で登場する手法) - ソース: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 9 実現場での継続学習とテスト]] ## 出典 - [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 9 実現場での継続学習とテスト]] — Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 9章, §9.2.4.