# 学習問題設定の分類 ## 定義 学習問題設定の分類とは、[[教師あり学習]]・[[教師なし学習]]・[[強化学習]]などの多様な学習手法を、以下の3つの基準の組合せとして整理する枠組みである。 1. **訓練データが網羅的か、サンプリングか**: 対象問題の取りうる場合をすべて網羅しているか、その一部をサンプリングした結果であるか。網羅的であれば丸暗記や動的計画法で解ける(三目並べのように盤面数が$3^{3\times3}=19683$通りの場合)。網羅できない場合(囲碁のように盤面数が$3^{19\times19}\approx10^{360}$通りで宇宙の原子数より多い場合)は、サンプリングと汎化が必要になる。 2. **ワンショット(独立)か、逐次的か**: 扱う問題が互いに独立か、前の問題に依存して次の問題が決まるか。ワンショットの方が各問題の状況が同じで解きやすく、バッチ処理もしやすい。逐次的な問題は状況がすべて異なるため解きにくい。推定対象の出力が系列・木・グラフなどの構造化データであり要素を順に推定する場合(構造化データの予測)も、各要素の予測が前の予測に依存するため逐次的な問題に含まれる。 3. **フィードバックが教師的か、評価的か**: 予測に対して最適な出力(正解)を直接教えてもらえる場合を教師的なフィードバック、とった行動が良かったか悪かったかしか教えてもらえない場合を評価的なフィードバックと呼ぶ。教師的なフィードバックの方が絶対的な評価が得られる分、学習が容易である。評価的なフィードバックは、同じ入力に対する異なる行動同士を比較する相対的な評価しか得られず、他の行動を試さないと改善の余地がわからない。 (Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.5) ## 4つの代表的な組合せ 3軸の組合せにより、以下の代表的な問題設定が整理できる(いずれも訓練データはサンプリングを前提とする)。 | ワンショット/逐次的 | 教師的 | 評価的 | |---|---|---| | ワンショット | 通常の教師あり学習 | バンデッド問題(bandit problem) | | 逐次的 | 構造出力の教師あり学習 | 強化学習 | - **通常の教師あり学習**: サンプリング・ワンショット・教師的。画像分類など、各予測が独立で最適な出力を直接与えられる場合。 - **バンデッド問題(bandit problem)**: サンプリング・ワンショット・評価的。無数の材料の組合せから最適なものを探す問題、行ったことのないレストランを含めて昼食の店を選ぶ問題など、行動の評価しか得られない点で強化学習に近いが、各選択が独立(ワンショット)である点で異なる。 - **構造出力(structured output)の教師あり学習**: サンプリング・逐次的・教師的。文からその構文木や意味解析を求める場合、ロボット制御で模倣すべき行動列が与えられている場合など。 - **[[強化学習]]**: サンプリング・逐次的・評価的。 (Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.5) ## 見かけ上の逐次性とワンショットへの再定式化 各問題が独立に見えても、内部的には前後関係を持つ場合がある。たとえば検索連動型広告の推薦では、ユーザーがそれまでに見た広告や行動結果に応じて次の反応が変わりうるため逐次的な問題といえるが、過去の履歴をすべて現在の入力に含めることでワンショットの問題として再定式化することもできる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.5) ## 横断的知見 - **2018年のSRE実務者向け入門書は、本ページの3軸分類とは異なる「教師あり/教師なし/強化学習」という単純な3分類(タスク種別の列挙付き)を採用していた**: 『SREの探求』第18章(2018年執筆、日本語版2021年)の図18-2は、教師あり学習の下に分類(決定木・ニューラルネットワーク等)と回帰、教師なし学習の下にクラスタリング、強化学習の下にQ学習・TD学習(時間的差分学習)・ディープ敵対的ネットワークを列挙する。本ページが整理する「訓練データが網羅的かサンプリングか」「ワンショットか逐次的か」「フィードバックが教師的か評価的か」という3軸の組合せ理論(『ディープラーニングを支える技術』第2章、2022年)とは異なり、SRE向け入門は軸による理論的な導出を示さず、代表的なアルゴリズム名の列挙にとどまる。同じ3分類(教師あり/教師なし/強化学習)が、専門書では3軸の組合せとして演繹的に導かれ、実務者向け入門書では列挙的なカタログとして提示されるという、対象読者に応じた提示粒度の違いが確認できる。なお図18-2に挙がる「TD学習」は、強化学習ページが積み増した予測(価値推定)側の代表手法と一致する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.5, [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4) ## 未解決の問い - バンデッド問題と強化学習は「評価的フィードバック」を共有するが、ワンショット/逐次的の違いが探索戦略(報酬と探索のジレンマの解き方)にどう影響するか、本章の記述だけでは具体的な手法まで踏み込んでいない。 - 「見かけ上の逐次性をワンショットへ再定式化する」(履歴を入力に含める)手法は、どの程度まで一般に有効か。系列長が長い場合の限界は何か。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] / [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] - concept: [[教師あり学習]] / [[強化学習]] / [[PAC学習]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.5. - [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4.