# 天然ラベル ## 定義 天然のラベル(natural label)とは、モデルの予測がシステムによって自動的に、あるいは部分的にでも評価されるタスクにおいて、人間によるアノテーション作業を必要とせずシステム自身が推測できるラベルのことである。Google マップのルート到着時間予測(実際にかかった時間と比較できる)、株価予測(2分後の実際の株価と比較できる)、レコメンドシステム(お勧めしたアイテムをユーザーがクリックしたかどうか)が代表例である。著者と接点のある86社を対象にした調査では63%の企業が天然のラベルを使用するタスクに取り組んでおり、天然のラベルがあるタスクのほうがより簡単・安価に着手できるためだと考えられている。クリックや評価などユーザーの行動から推測された天然のラベルは行動ラベルと呼ばれることがある。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.2.2) 天然のラベルには2種類ある。ユーザーが低評価ボタンを押す・代替の翻訳を送信するなど、ユーザーが明示的に示すフィードバックに基づく明示的ラベル(explicit labels)と、一定時間クリックされなかったお勧めを負のラベルとみなすように、正のラベルが付かないことから負であることを暗黙的に推定する暗黙的ラベル(implicit labels)である。天然のラベルが存在しないタスクでも、Facebookのニュースフィードの「いいね」ボタンのように、何らかのフィードバックを収集できるようシステムを設計することは可能である。(Source: 同 §4.2.2) 天然の正解ラベルがあるタスクでは、予測をしてからその予測に対するフィードバックを得るまでの時間がフィードバックループの長さ(length of the feedback loop)になる。フィードバックループが短いタスク(概ね数分以内。多くのレコメンドシステム)から、数時間(ブログ記事やYouTube動画)、数週間(Stitch Fixの試着)、数か月(不正取引検知の異議申立期間1〜3か月)まで幅がある。間隔を短くするとラベルを速く得てモデルの問題を早期に検出できる一方、まだクリックされていないだけの良いお勧めを早合点して負のラベルにしてしまうリスクを伴う。2021年前半のTwitter広告チームの調査では、広告クリックの大半が表示から5分以内に発生する一方、何時間も経ってから発生するクリックも存在するため、短いフィードバックループのラベルは実際のクリックスルー率を過小評価する傾向がある。フィードバックループが長いラベルは四半期・年単位のレポートには役立つが、モデルの問題を早期に検出する用途にはあまり役立たない。(Source: 同 §4.2.2.1) ## 横断的知見 - **本ページの「フィードバックループの長さ」は、時間の遅延によるラベルの不確実性を扱う概念であり、[[フィードバックループ]]が扱う「予測結果が次の入力を悪化させる自己強化的な循環構造」とは同じ用語を使いながら異なる現象を指す**: [[フィードバックループ]]は DDIA第14章の信用スコアの下降スパイラルのように、予測の帰結そのものが次の予測の入力を歪め悪化させていく循環を扱う。これに対し本ページが扱うフィードバックループの長さは、1回の予測に対して正しいラベル(天然のラベル)がいつ観測されるかという時間差の問題であり、循環構造そのものではなく観測の遅延・不確実性を扱う。両者は「予測とその後の観測が絡み合う」という点で家族的類似性を持つものの、前者は自己強化的な悪循環という規範的な問題、後者はラベル取得のタイミング設計という工学的な問題であり、混同しないよう区別する必要がある。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.2.2.1, [[フィードバックループ]]) ## 未解決の問い - フィードバックループの長さをどの程度に設定すべきかという判断基準(速度と精度のトレードオフ)は、タスクごとにどのような定量的な指標で決定すべきか、本ソースは「入念に検討する必要がある」と述べるにとどまる。 - 暗黙的ラベルの「早合点」による誤ラベルの割合を事前に見積もる方法(Twitter広告の事例のような分析)は、広告以外のドメインでどこまで一般化できるか。 - 天然のラベルが存在しないタスクでフィードバック収集の仕組みを後付けで設計する場合、どのような設計指針があるか。本ソースはGoogle翻訳やFacebookの例を挙げるのみで体系的な方法論は示さない。 ## 関連 - source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] - concept: [[教師データのためのログ設計]](天然のラベルをログからどう抽出・保存するか) / [[フィードバックループ]](同じ用語を使うが異なる現象を指す自己強化的循環) / [[ラベル不足への対処]](天然のラベルが得られない場合の代替手段) ## 出典 - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 4 章, §4.2.2, §4.2.2.1.