クラウドソーシングによるアノテーション

# クラウドソーシングによるアノテーション ## 定義クラウドソーシングによるアノテーションとは、多数の外部作業者を使って教師データへのラベル付与を分散して行う手法である。『仕事ではじめる機械学習第2版』第5章は、日本で想起されやすいランサーズやクラウドワークスなどの**コンペ型**と、Amazon Mechanical Turk や Yahoo!クラウドソーシングに代表される、多数の一般作業者が短時間の単純作業を行う**マイクロタスク型**を区別し、後者が教師データ作成と特に相性が良いとする。Google Cloud AI Platform Data Labeling Service や Amazon SageMaker Ground Truth のように、機械学習クラウドサービスの一部としてラベル付与を組み込めるものもある。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.5) 同僚や友人への依頼(§5.4)とクラウドソーシング(§5.5)は、複数人にアノテーションを依頼するという点で共通の作法を持つ。 - 暗黙の判断基準を文書化する: 一人で作業する際は暗黙の基準で判断できるが、複数人に依頼すると基準がぶれるため、事前に作業内容・判断基準を言葉で明文化しておく必要がある。(Source: 同 §5.4) - 同一データへの複数人アノテーションで一致率を測る: 正解ラベルの方向性を揃える基準を用意しても人によって判断がぶれる課題があるため、同一データに複数人の正解を付与してもらい一致の度合いを把握する。人間同士でも5割一致しないタスクは機械学習でも解けない可能性が非常に高い。偶然の一致を考慮した**κ係数(カッパ係数、Kappa Coefficient)**を課題の難易度判断に使うこともある。(Source: 同 §5.4) - 作業者間の非開示: 作業者が互いの正解データを見てしまうと、それがバイアスとなり偏ったモデルが学習される恐れがあるため、他の作業者の結果を見せないようにする。(Source: 同 §5.4) クラウドソーシング固有の利点は、専門の作業者を雇うより速く安価であること、試行錯誤の回転が速いこと、コストの低さから同一タスクを複数人に依頼する冗長なデータ作成が可能になることである。一方で、作業者が短時間で解ける粒度へのタスク設計が難しく、高い専門性を要する作業は手順の分割・詳細化が必要になる。全件チェックが不可能なため、カテゴリごとのサンプリングチェックのような事後の品質評価方法をあらかじめ用意しておく必要がある。(Source: 同 §5.5) サービスへの組み込みによるユーザー入力(§5.6、reCAPTCHA やAmazonの検索結果フィードバックフォームが例)は、広い意味ではクラウドソーシングの一種と位置づけられるが、サービスを理解したユーザーの協力を得られる点、新規コンテンツにも継続的に追従できる点に独自の価値がある。(Source: 同 §5.6) ### アノテーション体制と品質計測(『信頼性の高い機械学習』第4章) 『信頼性の高い機械学習』第4章§4.3は、「誰がラベル付けを行うか」という同じ問いを、モデルビルダーに併設される専門アノテーションチームと、サードパーティのアノテーションプロバイダが遠隔から提供するチーム(規模は1人から数百人まで様々)という2つの体制に整理する。Amazon Mechanical Turkをクラウドソーシングラベリングの最初のプラットフォームとして挙げつつ、それ以降に多くのクラウドソーシングプラットフォームやサービスが登場したとする。ラベリング方法の選択にはコスト・品質・一貫性のトレードオフがあり、クラウドソーシングは品質・一貫性の検証に追加の労力を要する一方、有償の専門ラベリングスタッフは高価で、アノテーションチームのコストがモデル訓練の計算コストを容易に超えることがある。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.1) アノテーション品質の計測手法として、(1) 複数ラベリング(コンセンサスラベリング。同じデータを複数のラベル作成者に与えラベル作成者間の一致性をチェックする)、(2) ゴールデンセットテスト問題(信頼できるラベル作成者やモデル構築者がラベルなしデータでテスト問題を作り、生成されたラベルの品質を評価する)、(3) 別のQAステップ(より信頼できるQAチームがラベル作成者データの一部をレビューする)の3つを挙げる。品質向上には、訓練と文書化の充実・スループットだけでなく品質を評価軸に含めること・作業時間内でのタスクの多様化・使いやすいツール・バランスの取れたタスク設計(単調作業を避ける)・ツールや指示へのフィードバック機会が有効だとする。(Source: 同 §4.3.2) アノテーションプラットフォームは、アノテーション担当者間で作業を分担するワークキューシステムを中核とし、複数のアノテーションプロジェクトでチームを共有する場合や、あるタスクの出力を別タスクの入力として使うパイプライン構成にも対応する必要がある。完成したラベルを保存する最適な場所は多くの場合[[特徴量ストア]]であり、人間のアノテーションを独自の列として扱うことで特徴量ストアの他の機能を利用できる。(Source: 同 §4.3.3) 能動学習は、モデルとアノテーターの意見が一致しない場合やモデルが最も不確実な場合にアノテーション作業を集中させ、ラベル品質を向上させる手法である。既存モデルによる事前ラベル付け(検出候補の提示)にラベル作成者が承認・拒否・追加を行うワークフローが代表例で、ラベル作成者のスループットを大幅に向上させる一方、モデルにバイアスがかからないよう注意が必要になる。半教師ありシステムは、弱いヒューリスティック関数をブートストラップし人間がそれを高品質な訓練データへ仕上げるアプローチとして紹介され、複雑で頻繁に変化するカテゴリ定義を持つ問題に特に役立つとされる。(Source: 同 §4.3.4) ラベリング指示は新しいコーナーケースの発見に応じて更新されるべきで、変更が重要な場合は以前にラベル付けされたデータの再アノテーションが必要になることがある。アノテーションチームは入れ替わりが激しいため、ツール使用やラベル付け手順の訓練への投資は、ラベルの品質とスループットに大きな成果をもたらす。(Source: 同 §4.3.5) ## 横断的知見 - **「誰がラベル付けを行うか」という同じ問いに、2書は異なる粒度の分類軸を与える**: 『仕事ではじめる機械学習』第5章は「担当者の種類」(公開データセット活用・開発者自身・同僚友人・クラウドソーシング・サービス組み込み)という5分類で答えるのに対し、『信頼性の高い機械学習』第4章§4.3.1は、モデルが単純な場合の非専門エンジニアによる自作ラベリングと、モデルが複雑な場合の専門アノテーションチーム(社内併設対サードパーティ遠隔)という体制の複雑さの軸で答える。前者は主に個人開発・小規模プロジェクトの視点、後者は大規模アノテーションチームの運用の視点に立っており、相補的な粒度で同じ意思決定を分解している。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.1, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.1) - **作業者間一致率(κ係数)と複数ラベリング/ゴールデンセット/QAステップは、同じ「品質の計測」問題への異なる解法として並置できる**: 『仕事ではじめる機械学習』第5章はκ係数という単一の統計指標で作業者間の一致度を測定し閾値判断の材料とするのに対し、『信頼性の高い機械学習』第4章は複数ラベリング(κ係数が測るのと同種の作業者間一致)・ゴールデンセットテスト(既知の正解との比較)・別QAステップ(独立したレビュー工程)という3手法を並列に提示し、いずれか単独ではなく組み合わせて品質を担保する運用を示唆する。前者は「どう測るか」の指標設計に踏み込み、後者は「どの体制で測るか」のプロセス設計に踏み込んでおり、両者を合わせると「κ係数のような指標をゴールデンセットやQAステップのどの工程に組み込むか」という実装上の接続点が見えてくる。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.4, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.2) - **能動学習・AIアシストラベリングは、旧版の5手段の分類には現れない第6の手段的な位置づけを持つ**: 『仕事ではじめる機械学習』第5章の5分類(公開データセット・自作・同僚友人・クラウドソーシング・サービス組み込み)は「誰が」の軸で閉じているのに対し、『信頼性の高い機械学習』第4章§4.3.4の能動学習・AIアシストラベリングは「モデル自身が事前ラベル付けを行い人間が検証する」という、モデルと人間の協業によるハイブリッドな取得方式であり、5分類のどれにも単純には収まらない。品質計測の観点では、モデルが提示した候補への承認/拒否という作業形態がゴールデンセットテストの逆(既知の正解でなくモデルの予測を人間が検証する)に近い構造を持つ点も興味深い。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.4) - **Landing AI の鋼材検査事例(15章)は、『信頼性の高い機械学習』4章が挙げるゴールデンセットテスト・複数ラベリング・QAステップという3手法のうち、複数ラベリング(コンセンサスラベリング)と定義更新の反復サイクルを、視覚的に酷似したクラス(38種類の鋼材欠陥)という具体的な難所で実演する**: 4章§4.3.2は複数ラベリング(同一データを複数のラベル作成者に与え一致性をチェック)を品質計測手法の1つとして提示するにとどまるが、[[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.3は、現地インターン3人を雇い、クラスごとにデータの30%ずつラベル付けし(2週間で3回反復)、ラベル作成者の意見が食い違うたびに欠陥の定義自体を更新して合意を再構築するという、具体的な運用手順を示す。4章は「複数ラベリングで一致性をチェックする」と述べるのみで一致率が低い場合にどう対処するかまでは踏み込んでいないが、15章の事例は「定義そのものを反復的に洗練させる」という具体的な対処法を与えており、抽象的な品質計測手法(4章)に実務上の解決策(15章)を接続する。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.2, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.3) - **15章のバウンディングボックス却下基準(ゆるく覆いすぎたボックスの不採用)は、4章のアノテーション品質論には現れない、[[物体検出]]タスク固有の一致性基準を追加する**: 4章§4.3.2の複数ラベリング・ゴールデンセットテスト・QAステップは分類ラベルの一致性を主に想定するが、15章§15.3は物体検出タスクとして、欠陥領域に対しきちんとしたバウンディングボックスを描けているか(不連続性は別ボックスで注釈し、緩すぎる境界は却下する)という、ラベルの正誤とは別の「アノテーションの幾何学的な質」という軸を示す。これは4章が扱う分類タスク中心の品質計測フレームワークが、検出タスクでは境界の精度という追加次元を必要とすることを示唆する。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.3, [[物体検出]]) - **『機械学習システムデザイン』4章の「ラベルの多様さ」問題とデータリネージは、κ係数・複数ラベリングが測る「一致率」の裏側にある、具体的な原因の特定と再発防止の手がかりを補う**: 『仕事ではじめる機械学習』5章のκ係数、『信頼性の高い機械学習』4章の複数ラベリング・ゴールデンセットテスト・QAステップは、いずれもアノテーター間の不一致を**測定する**手法である。これに対し[[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.2.1.1は、3名のアノテーターに固有表現抽出タスクを依頼した具体例(表4-1)で、同じ相違が生じる**原因**(問題定義の曖昧さ。例えば「第一銀河帝国の銀河皇帝」という表現の切り出し方が人によって割れる)とその**対処**(最長の部分文字列を選ぶ旨を明確化し、その定義をアノテーターの訓練に組み込む)まで踏み込む。さらに§4.2.1.2のデータリネージ(各サンプルの出どころとラベルの追跡)は、10万件の高品質データに100万件の低品質クラウドソーシングデータを混ぜてモデル性能が低下した実例を挙げ、複数ラベリングやQAステップで検出しきれなかった品質差を後から切り分ける手段として機能する。既存の未解決の問い(κ係数の閾値、能動学習のバイアスリスクの緩和策)には直接答えないが、「一致率が低い/品質が疑わしいときに何を確認すべきか」という実務的な次の一手を追加する。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 4 訓練データ]] §4.2.1.1, §4.2.1.2, [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] §5.4, [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] §4.3.2) ## 未解決の問い - κ係数の具体的な閾値(どの値以上なら機械学習で解ける課題とみなせるか)は両章とも示していない。『信頼性の高い機械学習』のゴールデンセットテストやQAステップの合格基準も同様に数値化されていない。 - マイクロタスク型クラウドソーシングでの品質担保(カテゴリごとのサンプリングチェック)は、どの程度のサンプル率が実務で妥当とされるか。両章とも具体的な数値の記載がない。 - 作業者間の非開示によるバイアス防止(『仕事ではじめる機械学習』)と、複数人アノテーションによる多数決との間には、実装上どのようなワークフロー(順序・タイミング)が必要か。 - 能動学習・AIアシストラベリング(『信頼性の高い機械学習』§4.3.4)がラベルにかけるモデルバイアスのリスクは、どのような検証手順で検出・緩和できるか。本章は注意を促すのみで具体的な緩和策を示さない。 ## 関連 - ソース: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 5 学習のためのリソースを収集する]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 4 特徴量と訓練データ]] / [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]](§15.3 鋼材検査における反復ラベリングの実例) - 概念: [[教師データ収集手段の選択]] / [[教師データのためのログ設計]] / [[特徴量ストア]] / [[物体検出]](バウンディングボックスの一致性基準) / [[製造工程の信頼性管理]] / [[ラベル不足への対処]](能動学習・半教師ありシステムをアノテーション不足への対処として詳述) - 実体: [[Landing AI]] ## 出典 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習第2版』, オライリー・ジャパン, 2021, 第5章 §5.4-§5.6. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 4 章 §4.3. - Cathy Chen ほか, 『信頼性の高い機械学習 ―SRE 原則を活用した MLOps』, オライリー・ジャパン, 2024, 15 章 §15.3(執筆: Ivan Zhou, Landing AI). - Chip Huyen 著, 江川崇・平山順一訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 4 章, §4.2.1.