# 目的関数のデカップリング ## 定義 目的関数のデカップリングとは、機械学習システムが複数の目的関数を同時に最小化したい場合に、それらを単一の重み付き損失関数にまとめて1つのモデルで訓練するのではなく、目的ごとに別々のモデルを訓練し、各モデルの出力を推論時に重み付き和で組み合わせる設計手法を指す。『機械学習システムデザイン』2章は、ニュースフィードのランキングシステムを例に、この手法を「目的の分割(decoupling objectives)」として提示する。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 2 機械学習システム設計の概要]] §2.4.2.1) ## 問題設定: 単一目的の追求がもたらす倫理的懸念 ニュースフィードのランキングシステムを単純にユーザーのエンゲージメント最大化(スパム除外・NSFW除外・エンゲージメントによるランク付けの3目的)だけに最適化すると、過激な投稿ほどエンゲージメントを稼ぎやすいため、アルゴリズムが過激なコンテンツを優先するように学習してしまう。この懸念に対処するため、「過激な意見や誤った情報の拡散を最小限に抑制しながらユーザーのエンゲージメントを最大化する」という新たなゴールのもとで、誤情報の除外と品質に基づくランク付けという2つの目的を追加した5目的の構成に発展させる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 2 機械学習システム設計の概要]] §2.4.2.1) ## 2つのアプローチ 品質によるランク付けとエンゲージメントによるランク付けという2つの目的は、互いに矛盾しうる(人を引きつけるが品質の低い投稿をどう扱うか)。これを実現する方法は2通りある。 1. **単一モデル+重み付き損失**: `loss = α × quality_loss + β × engagement_loss` という1つの損失関数を定義し、単一モデルを訓練する。α・βの値はランダムに試すか、パレート最適化(複数の目的関数を同時に最適化する多基準意思決定の一分野)で体系的にチューニングできる。欠点は、αとβの値を調整する(例: 品質を上げたいのでαを増やす)たびに、モデルを再訓練しなければならないことである。 2. **複数モデル+出力のスコア合成**: 品質ロスのみを最小化する品質モデルと、エンゲージメントロスのみを最小化するエンゲージメントモデルを別々に訓練し、`α × quality_score + β × engagement_score` として出力を組み合わせて投稿をランク付けする。この場合、モデルを再訓練することなくαとβを微調整できる。 (Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 2 機械学習システム設計の概要]] §2.4.2.1) ## デカップリングを推奨する2つの理由 目的が複数にまたがる場合、最初にそれを分離することが推奨される。理由は2つある。第一に、前述のとおりシステムの微調整(重み変更)がモデルの再訓練よりも容易である。第二に、目的が異なると必要なメンテナンス頻度も異なりうるため、メンテナンスが容易になる。例えばスパムの手口は投稿品質の認識方法よりもはるかに速く進歩するため、スパムフィルタリングシステムは投稿品質のランキングシステムよりも高い頻度でアップデートする必要がある。目的を分割しておけば、更新頻度の異なるモデルを独立に運用できる。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 2 機械学習システム設計の概要]] §2.4.2.1) ## 横断的知見 (現時点では本概念は単一ソース(『機械学習システムデザイン』2章)のみに基づく。他ソースとの突き合わせで見える知見は、複数ソースが同じ主題に触れた時点で追記する。) ## 未解決の問い - 品質モデルとエンゲージメントモデルのように出力スケールの異なるスコアを重み付き和で合成する際、スコアの正規化はどう行うべきか。本章はこの実装上の詳細に触れていない。 - パレート最適化によるα・βの体系的チューニングは、本章では参照文献の紹介にとどまり、具体的な手順は示されていない。 - [[フィードバックループ]] や [[責任あるAI]] が扱う、機械学習システムが引き起こす社会的影響(エコーチェンバー、有害コンテンツの増幅など)の議論と、本概念の「デカップリングによって倫理的な目的を後から追加できる」という設計上の含意は、どこまで接続できるか。現時点でこの2概念には本章のニュースフィード例と直接突き合わせられる記述がなく、横断的な観察としてはまだ書けない。 - モデル数の増加(品質モデル・エンゲージメントモデル・誤情報検知モデル…)は [[機械学習システムの4要件]] が挙げる拡張性(モデル数の増加への対処)と直接関係するはずだが、本章はこの接続を明示的には論じていない。 ## 関連 - ソース: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 2 機械学習システム設計の概要]] - 概念: [[機械学習システムの4要件]] / [[フィードバックループ]] / [[責任あるAI]] / [[分類モデルの評価指標]] / [[回帰の評価指標]] ## 出典 - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 2章 §2.4.2.1.