# 教師データ収集手段の選択 ## 定義 教師データ収集手段の選択とは、教師あり学習に必要な教師データ(ラベル付きデータ)を「誰が作るか」という観点で分類した複数の取得手段のうち、着手コスト・品質担保のしやすさ・スケールしやすさ・ドメイン適合の各軸のトレードオフを踏まえてプロジェクトに適した手段を選ぶ判断のことである。『仕事ではじめる機械学習 第2版』第5章は、この観点から (1) 公開されたデータセットやモデルを活用する、(2) 開発者自身が教師データを作る、(3) 同僚や友人などにデータ入力してもらう、(4) クラウドソーシングを活用する、(5) サービスに組み込みユーザーに入力してもらう、の5つの手段を列挙する。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.1) 各手段の位置づけは以下のとおりである。 - 公開データセット・学習済みモデルの活用: 着手コストは最も低いが、商用利用ライセンスの確認とドメイン適合(転移学習・ファインチューニング等の追加コスト)という2つの制約を伴う。(Source: 同 §5.2) - 開発者自身が作る: 曖昧な事例への対処を通じてカテゴリ定義とドメイン知識・特徴量の着想を得られる、最初の手段として重要なステップだが、データ量が増えるとスケールせず個人の思い込みによる偏りが生じる。(Source: 同 §5.3) - 同僚や友人への依頼: 予算を使わずスケールできる最初の一歩。暗黙の判断基準の明文化、複数人アノテーションによる一致率確認(κ係数)、バイアス防止のための相互非開示が必要になる。(Source: 同 §5.4) - クラウドソーシング: 専門家を雇うより速く安いが、タスク設計の難度が上がり、全件チェックが不可能なため事後のサンプリング品質評価が必要になる。(Source: 同 §5.5) - サービスへの組み込み: 広義のクラウドソーシングの一種で、サービスを理解したユーザーの協力を得られる。一定のユーザー基盤とインセンティブ設計が前提だが、新規コンテンツに継続的に追従できる。(Source: 同 §5.6) ## 横断的知見 - ログ設計(何をログに残すか、[[教師データのためのログ設計]])と本概念(残したログや外部リソースから教師データをどう作るか)は、教師データ取得の時間軸で相補的な関係にある。ログ設計側の視点では、サービスのログ取得の仕組みからの「完全自動」抽出が教師データ付与の3方式の1つとして最初に挙げられており(第5章 §5.1)、あらかじめ良いログ設計をしておくほど、本概念が扱う手動・半手動の収集手段(開発者自身の作成・同僚依頼・クラウドソーシング)への依存を減らせるという関係になる。逆に、ログだけでは自動抽出できない出力(例: コンテンツのカテゴリ分類、感情判定など人の判断を要するラベル)は、本概念が扱う人手を介した収集手段が必要になる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 4 システムに機械学習を組み込む]] §4.3, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.1) - **人間主導のクラウドソーシング/専門アノテーションチームという選択肢の内側を、『信頼性の高い機械学習』第4章が体制・品質計測の観点で掘り下げる**: 本ページが列挙する5手段のうち「クラウドソーシング」に相当する部分は、『信頼性の高い機械学習』第4章§4.3では専門アノテーションチーム(社内併設/サードパーティ遠隔)の体制選択と、複数ラベリング・ゴールデンセットテスト・QAステップという3つの品質計測手法として詳述される。両書の突き合わせと詳細な対比は [[クラウドソーシングによるアノテーション]] に集約したので、そちらを参照する。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.5, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.1) - **自動収集可能なデータ(ログ/システムデータ)には測定できない対象があり、そこに人手を介した収集手段が必要になるという同型の構造が、ML教師データ収集と組織パフォーマンス調査研究という全く異なる分野に独立に現れる**: 本ページの「横断的知見」がすでに述べるとおり、ログ設計からの「完全自動」抽出は教師データ付与の最初の手段として挙げられる一方、人の判断を要するラベル(カテゴリ分類・感情判定等)は本ページが扱う人手を介した収集手段(開発者自身の作成・同僚依頼・クラウドソーシング)が必要になる。[[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.2-§14.3は、組織パフォーマンス調査というまったく別の分野で同じ構造の主張をする: システムが良質なデータを出力していても、そのデータがシステムの動作のすべてを尽くしていることは滅多になく(IBMディスクストレージシステムの事例:インタフェース部分という盲点)、VCS管理下ファイルの「割合」のようにチェックインされていないファイル数をシステムが把握できないために算出不能な指標もある。この場合、チームに直接尋ねる(アンケート調査)しかない。ML分野での「ログだけでは自動抽出できない出力には人手のアノテーションが要る」という指摘と、組織研究分野での「システムデータは自分の内部にあるものしか見えないため人に尋ねるしかない」という指摘は、収集対象のドメイン(訓練ラベル 対 組織パフォーマンス指標)も収集手段の呼び名(アノテーション 対 アンケート調査)もまったく異なるにもかかわらず、「自動収集可能なシステム内データの範囲」と「人的判断を要する情報の範囲」という同じ境界線を独立に指し示している。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 4 システムに機械学習を組み込む]] §4.3, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.2, §14.3) - **「母集団の完全なリストが存在しないため調達は間接的なチャネルに頼らざるを得ない」という制約と、その結果生じる代表性の欠如を事後的な検証で補うという対処パターンが、ML教師データ収集と組織パフォーマンス調査研究という異なる分野に独立に現れる**: 本ページが集約する『仕事ではじめる機械学習』第5章§5.5のクラウドソーシングは「専門家を雇うより速く安いが、タスク設計の難度が上がり、全件チェックが不可能なため事後のサンプリング品質評価が必要になる」と述べる。これは、労働力全体を把握できない母集団(クラウドワーカー)から間接的に調達し、収集後の抜き取り検査でしか品質を担保できない構造を示す。[[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]]が扱う紹介による抽出(referral sampling)/スノーボールサンプリングも同型の構造をとる: DevOps専門家には中央集権的な認証組織や公的な名簿が存在しないため、確率抽出(母集団全員の把握を前提とする無作為抽出)が採用できず、知人紹介という間接的なチャネルを通じて標本を拡大せざるを得ない。両者とも「完全な母集団名簿」という前提が成立しないために間接的な調達手段に頼り、事後的な検証(ML側: サンプリング品質評価、Accelerate側: 業界トレンドとの比較・外部専門家による毎年のレビュー・既存文献の精査・コミュニティからのフィードバック収集)で代表性・品質の欠如を補うという同じ対処パターンをとる。収集対象(訓練ラベル 対 組織パフォーマンスに関する回答)も分野(機械学習 対 組織研究)もまったく異なるにもかかわらず、「完全な母集団名簿が存在しない場合の調達戦略」という構造は独立に同じ形をとっている。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.5, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]] p.201-203) ## 未解決の問い - §5.2で触れられる半教師あり学習・転移学習・ファインチューニングは参照のみで詳細は本章では扱われない。これらの技法自体を扱う別ソースが wiki 化された際、教師データ収集コストの削減手段としてどう接続できるか。 - 収集した教師データの量・質と、[[教師データのためのログ設計]] が挙げるログ形式の変化(新旧特徴量モデルの共存)は、運用フェーズでどう相互作用するか。第6章(継続的トレーニング)で扱われる可能性がある。 - κ係数による作業者間一致率の評価は、具体的にどの閾値で「機械学習で解ける課題」と判断できるのか、本章では基準が示されていない。 - ML教師データ収集における「人手を介した収集手段のコスト・スケール制約」(本ページ §5.4-§5.6)と、組織パフォーマンス調査研究における「アンケート調査の速さ・スケールの優位性」(Accelerate ch.14 §14.1、4〜6週間で数千の回答者からデータ収集)は、一見逆方向の主張に見える。両者は「何と比較するか」(人手アノテーション同士の比較 対 システムデータとの比較)が異なるために生じる違いなのか、収集対象の性質(訓練ラベル 対 自己申告データ)そのものに起因する違いなのか、追加のソースで検証したい。 - 『仕事ではじめる機械学習』第5章§5.5の「事後のサンプリング品質評価」は具体的にどのような統計的手法(標本サイズ・抽出方法)で行われるかが本章では示されない。Accelerate ch.15が挙げる標本代表性の緩和策(勧誘対象の多様化)のような具体的な設計指針と比較できるほどの詳細が、クラウドソーシング側の一次資料にあるか追加で確認したい。 ## 関連 - ソース: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] / [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]](人手を介した収集手段が必要になる境界線を、組織パフォーマンス調査という別分野から裏付ける対比例) / [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]](完全な母集団名簿が存在しない場合の間接的な調達戦略という同型の構造を示す対比例) - 概念: [[教師データのためのログ設計]] / [[クラウドソーシングによるアノテーション]] / [[教師あり学習]] ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第5章. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 4 章 §4.3.1. - Nicole Forsgren, Jez Humble, Gene Kim 著, 武舎広幸・武舎るみ 訳, 『LeanとDevOpsの科学［Accelerate］』, インプレス, 2018, 第14章. - Nicole Forsgren, Jez Humble, Gene Kim 著, 武舎広幸・武舎るみ 訳, 『LeanとDevOpsの科学［Accelerate］』, インプレス, 2018, 第15章, p.201-203.