# 個体発生的学習と系統発生的学習 ## 定義 個体発生的学習(ontogenetic learning)とは、個体がその一生の間に過去の環境によって変容し、個体の生存期間内で環境に適応する能力を指す。系統発生的学習(phylogenetic learning)とは、遺伝的に継承可能な行動パターンの変異に自然選択が働くことで、種・血統のレベルで生じる適応を指す。Wienerはこの2つを、ともに動物(および広く生物一般)が環境に適応する様式とみなし、異なる現象でありながら密接に関連すると位置づける。人間では個体発生的学習と個体の適応性が最高度に高められており、人間の系統発生的学習の多くは「良い個体発生的学習を可能にすること」に費やされてきたとする。対照的に、Julian Huxleyの議論を引きつつ、鳥類・昆虫は個体発生的学習の容量が小さいとし、これは飛行が神経系に課す過大な要求と結びつく可能性を示唆する。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]] ch.9 p.169-170) ## ゲームをするマシンの学習における実装 Wienerはこの対比を機械の学習に接続する。固定された評価の重み付けだけで指すゲーム機械は「硬直した性格」を持ち、同じ状況に同じ反応を繰り返すため熟練者に見切られて敗れ続ける。これに対し学習するチェッカー・チェス機械は、数対局ごとに時間を取って過去の対局記録を検討し、駒・機動性・支配・展開などの評価の重み付けを再決定して古い評価を置き換える——自分自身の失敗だけでなく相手の成功からも学習する。この「対局のたびに固定重みで指す段階」から「過去の記録を検討して重みを更新する段階」への移行が、個体発生的学習の機械的アナロジーとして章の構成上の骨格になっている。SamuelとWatanabeのチェッカー学習機械は、10〜20時間の稼働で、プログラムした本人をかなり一貫して打ち負かせるようになる。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]] ch.9 p.172-173) von Neumannのゲーム理論(終局から遡って最善手を決定する方針)は、tick-tack-toeのように全戦略を尽くせるゲームでのみ厳密に適用でき、チェスやチェッカーのように手数が多いゲームでは近似にとどまる。実戦のチェスの定跡書はこの理論からではなく、高水準の指し手同士の実戦経験から書かれ、ゲームの段階に応じた重み付けを与える。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]] ch.9 p.170-171) ## 横断的知見 - Samuel・Watanabeのチェッカー学習機械は、個々の手を「正解」として教えられるのではなく、対局全体の結果(勝敗)という集約された評価から重み付けを更新する。この構造は、[[強化学習]]が後に「教師的フィードバック(supervised)」と対比して定式化した「評価的フィードバック(evaluative feedback)」——最適な出力を直接教えられず、間接的な評価だけから修正方法を自ら見つける学習——とほぼ同型である。Wiener(1961)はこの区別を明示的な理論として立てていないが、記述されている学習過程はすでにこの構造を体現している。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]], [[強化学習]]) - 本章がチェス・チェッカーについて明示的に指摘する限界——「終局から遡るvon Neumann理論は手数が多すぎて完全には適用できない」——は、のちに[[モンテカルロ木探索]]が解こうとした問題そのものである。モンテカルロ木探索は候補手が多く全展開できない盤面で、有望な手を優先的に探索しつつ未探索の手も効率的に展開する手法として定式化された。両者は同じ問題(手数の多いゲームで終局までの厳密な遡及ができない)を約半世紀の隔たりを挟んで指摘・解決しており、Wienerが同じ節でこの限界の代替として提示した「経験に基づく重み付けの学習」は、厳密な木探索を諦めて評価関数を学習するという点でモンテカルロ木探索よりもむしろ現代の評価関数学習(強化学習)に近い解法だと言える。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]], [[モンテカルロ木探索]]) - Samuel機械の重み更新は「数対局ごとに時間を取り、記録された過去の対局をまとめて検討する」というバッチ的・オフラインの手続きとして描かれる。これは[[適応制御]]で対比される2方式のうち、実行時に逐次オンラインで再推定・再設計する自己調整レギュレータ(self-tuning regulator)よりも、あらかじめ複数の設計を用意しておくゲインスケジューリングに近い時間構造を持つ——ただしSamuel機械は設計をあらかじめ用意するのではなく事後にまとめて再設計する点で、どちらの型にも完全には一致しない中間的な手続きである。(Source: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]], [[適応制御]]) ## 未解決の問い - Wienerが第一次計画・第二次計画(first-order/second-order programming)として予測の議論(本書内の別章)と結びつけたアイデアは、原文では詳細に展開されず示唆にとどまる。該当する予測の章(Chapter 3)の記述と突き合わせて、この対応がどこまで厳密かを検証する必要がある。 - Samuel(1959)・Watanabe(1960)の原論文(IBM Journal of Research and Development)には、本章で要約された「10〜20時間で開発者を打ち負かす」以上の定量的な学習曲線の記述があるはずで、一次資料に当たれば個体発生的学習の速度についてより具体的な数値が得られる可能性がある。 - 系統発生的学習の機械的アナロジー(初期の重み付けや評価関数の設計そのものを進化的に探索する過程)は本章では明示的に論じられていない。[[進化的探索によるエージェント設計]]など既存 concept との対応関係を、別ソースの突き合わせで検証する余地がある。 ## 関連 - ソース: [[@1961__MITPress__Cybernetics - Chapter 9 On Learning and Self-Reproducing Machines]] - 実体: [[ノーバート・ウィーナー]] - 関連概念: [[強化学習]] / [[モンテカルロ木探索]] / [[適応制御]] / [[自己複製機械]] ## 出典 - Norbert Wiener, *Cybernetics: or Control and Communication in the Animal and the Machine*, 2nd ed., The MIT Press, 1961, Chapter 9(印字 pp.169–180)。