# 好奇心駆動学習 Navigation: [[index]] | [[面白さ優先分類]] ## 定義 好奇心駆動学習(curiosity-driven learning)とは、予測誤差・新規性・情報利得など**内発的報酬(intrinsic reward)**を目的関数に加えることで、エージェントが環境を積極的に探索し、未知の状態・知識を習得する学習パラダイムである。強化学習の文脈では、タスク固有の外的報酬(extrinsic reward)が疎(sparse)または遅延している場合に特に有効とされる。 代表的な内発的報酬の定式化: - **予測誤差ベース**: 次状態の予測モデルの誤差が大きいほど報酬が高い(Pathak+ ICML 2017、ICM モジュール)。 - **カウントベース**: 訪問回数が少ない状態に高い報酬を与える。 - **情報利得ベース**: ベイズ的に不確かさを測り、それを最小化する探索を促す。 - **RND(Random Network Distillation)**: ランダム固定ネットワークの出力と訓練ネットワークの出力の差を内発的報酬とする(Burda+ 2018)。 ## 面白さ優先分類との関係 [[面白さ優先分類]] の EUREKA は強化学習ではなく教師あり分類の文脈だが、**「自明でない・予測困難な関係を優先して発見する」という思想が共通する**。 強化学習の好奇心駆動探索が「予測が難しい状態遷移を積極的に訪問する」のに対し、EUREKA は「LLM が『意外だ』と判定する特徴量を積極的に選択する」という構造的な類似を持つ。どちらも「驚き(surprise)の最大化」が動機となる点で共通する。 ただし根本的な違いもある: 好奇心駆動学習は**プロセス**(探索行動)を対象とするが、EUREKA は**結果**(分類ルールの選択)を対象とする。(Source: [[joisino-面白さ優先分類器-2025]]) ## 横断的知見 - 「面白さ」を目的とする分類器設計は、強化学習の好奇心駆動探索と目的関数レベルで類似しているが、適用ドメイン(教師あり分類 vs. 強化学習)が異なる。「面白さの最大化」を教師あり学習のメタ目的として据えた EUREKA は、好奇心駆動学習の分類タスクへの移植例と解釈できる。(Source: [[joisino-面白さ優先分類器-2025]]) - **好奇心駆動学習(予測誤差ベースの内発的報酬)と、多腕バンディットの事後分布ベースの探索(Bayesian-UCB・UCB1・Thompson Sampling)は、同じ[[探索と活用のトレードオフ]]への異なる系統の解であり、適用条件が明確に分かれる**: 『仕事ではじめる機械学習』第11章のBayesian-UCB・UCB1・Thompson Sampling法は、アームの母平均を事後分布として明示的に推定し、その信用区間や分散を直接評価値に組み込む。この方法は、状態空間が小さく(アーム数本)、報酬分布が定常であるという条件のもとでは、好奇心駆動学習の予測誤差という間接的な代理指標より原理的に精度が高い(不確実性を直接測るため)。一方で好奇心駆動学習が対象とする強化学習の状態空間は連続・高次元でありうるため、母平均の事後分布を直接推定することが計算上困難であり、予測モデルの誤差という近似指標に頼らざるを得ない。つまり両者の違いは目的の違いではなく、状態空間の規模という計算量上の制約に起因する使い分けと解釈できる。この整理は[[強化学習]]の横断的知見が指摘した「第4章が明示的に扱わない探索と利用のジレンマへの発展的な回答」という位置づけを、多腕バンディットという第三の参照点を加えて精緻化するものである。(Source: [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 11 バンディットアルゴリズムによる強化学習入門]] §11.2-§11.6, [[joisino-面白さ優先分類器-2025]]) ## 未解決の問い - 好奇心駆動探索と面白さ優先特徴選択を統合した能動学習フレームワークは成立するか? - 「意外さ(surprise)」を情報理論的に形式化した場合(例: 自己情報量、予測誤差)と LLM が判定する「面白さ」はどの程度一致するか? - 好奇心駆動 RL エージェントが発見した遷移規則と面白さ優先分類器が発見したルールを同じ「意外性スコア」で比較できるか? - 多腕バンディットの事後分布ベースの探索(信用区間・分散を直接評価値に使う)を、状態空間が高次元・連続な深層強化学習に近似的に移植する試み(ベイズ的な価値関数の分布推定等)は、好奇心駆動学習の予測誤差ベースの近似とどちらが優れているか。両者を同一環境で比較したソースは未確認。 ## 関連 - [[面白さ優先分類]] — 教師あり分類文脈での類似コンセプト - [[joisino-面白さ優先分類器-2025]] — 面白さ優先分類を初めて体系化したソース - [[@2021__OReillyJapan__仕事ではじめる機械学習 - Chapter 11 バンディットアルゴリズムによる強化学習入門]] — 事後分布ベースの探索という対照的な系統 - [[多腕バンディット]] / [[探索と活用のトレードオフ]] — 好奇心駆動学習が解こうとするジレンマの一般的な問題設定 - [[強化学習]] — 好奇心駆動学習が発展的に扱う「探索と利用のジレンマ」の上位概念 ## 出典 - 佐藤竜馬 (joisino)、「面白さ優先分類器」、ジョイジョイジョイ、2025-08-28(関連コンセプトとして言及) - Pathak, D. et al., "Curiosity-driven Exploration by Self-Supervised Prediction", ICML 2017 - Burda, Y. et al., "Exploration by Random Network Distillation", ICLR 2019 - 有賀康顕・中山心太・西林孝, 『仕事ではじめる機械学習 第2版』, オライリー・ジャパン, 2021, 第11章, §11.2-§11.6.