# Recursive Self-Improvement [[Eliezer Yudkowsky]] が 2008-12-01 に LessWrong(当時は Overcoming Bias)へ投稿したシリーズ記事。「AI go FOOM」論——AI開発のある時点で速く(週〜時間単位)・局所的な能力急増が起こりうるという主張——を支える中心的な論証を提示する。副題どおり「Life's Story Continues」「Surprised by Brains」「Cascades, Cycles, Insight」「Recursion, Magic」「Engelbart: Insufficiently Recursive」「Total Nano Domination」という一連のシリーズの継続編であり、[[知能爆発]]・[[テイクオフ速度論争]]・後年の [[Recursive Self-Improvement]] 概念そのものの直接の起源になった一次資料である。 ## 因果の5層分解 Yudkowsky はあらゆる問題解決の背後にある因果連鎖を次の5層に分解する。 1. **Metacognitive(メタ認知)**: 脳を構築する最適化過程。人間なら自然選択、AIなら人間のプログラマー、あるいはある時点以降はAI自身。 2. **Cognitive(認知)**: 神経回路が行う計算労働。内省では不可視で、その力を過小評価しやすい(「AI失敗の根源」とYudkowskyが呼ぶもの)。 3. **Metaknowledge(メタ知識)**: 「どう発見するか」についての知識。科学・数学が典型例。 4. **Knowledge(知識)**: 重力の仕組みを知っているといった実質的知識。 5. **Object level(対象レベル)**: 橋を設計するといった個別の実務的問題。 ## 再帰の定義: 農業の発明との対比 AIに「チェスを指すプログラムを書いて」と頼むのは通常の object level 問題である。だが「記憶の格納・連想・検索のアルゴリズム X をより良いものに書き換えて」と頼み、かつ AI 自身がそのアルゴリズム X を使っている場合、AI の metacognitive 層(認知機構を形作る最適化過程)が object 層と同一化する。これが Yudkowsky の言う真の再帰である。 Yudkowsky はこれを「人類は農業の発明以来ずっと自己改善してきた/すでにシンギュラリティの中にいる」という反論に対して明確に切り分ける。「自分のソースコードをRAM上で直接書き換えること」と「農業を発明し、それによってより専門化した発明家を支えること」は、**実務的に区別する価値のある異なる現象**であり、両者が実際に似た振る舞いをするかどうかを論じる前に、まず「これらは論じるべき2つの異なる現象である」ことを認める必要がある、と主張する。人間の知識蓄積(科学・農業)は脳の認知アルゴリズム自体を書き換えておらず、認知レベルの力は内省的に不可視であるため慢性的に過小評価されてきた。 ## 微分方程式による比喩 利子を再投資しない債券は線形成長 `y = m·t` を示すが、利子を毎年さらに債券へ再投資する(outputをinputに結合する)と複利のような指数成長 `y' = m·y`(解 `y = e^(m·t)`)に転じる。この違いを一般化すると、通常の方程式 `y = f(t)` を再帰は `dy/dt = f(y)` へ書き換える——過去の延長では未来を予測できない、というのが本稿の核心的な数学的直観である。 ## 自然選択という「非再帰的」データ点 Yudkowsky は自然選択による脳進化を「一定の最適化効率・資源のもとで、洞察(insight)を持たずに近傍探索のみを行うプロセス」の観測データ点として扱う。ホミニド進化は減速しておらず(H. habilis→H. erectus→H. sapiens の各遷移が加速こそすれ減速していない)、人間の脳はチンパンジーの体格に対し3倍(前頭前皮質は6倍)の大きさで足り、遺伝子数もチンパンジーの1000倍ではない。ここから「一定の最適化圧力・洞察なしでは、人間レベルまで脳設計探索に減速する収穫逓減は見られなかった」と結論する。ただしこれは**非再帰的**過程についての観測にすぎない点を強調する。 ## 折り畳みの結果: 横ばいか爆発か 人類の歴史は「自然選択(ほぼ一定)が脳を作り」「ほぼ一定の人間認知が知識・メタ知識にフィードバックし指数的/超指数的成長を生んだ」という、複数の微分方程式の連鎖として記述できる。ここで object level(実際に人間がやったこと)を metacognitive level(認知機構を作る最適化過程)に**折り返す**と何が起きるか。 Yudkowsky の答えは「非常に速い進歩」でも「ほぼゼロの進歩」でもありうる、というもの。再帰化されたoptimizing compilerは一度だけ自己書き換えして速度を50%改善した後は二度と改善しない。EURISKO は自身のメタヒューリスティクスを何度か改善できたが、やがて力尽きて横ばいになった——いずれも人間の知性がそれらを最初に作り上げていたためで、AI自身の最適化力があまりに弱く、少し押した後はもう押せなくなる。 複雑で段差のある(cascade的)微分方程式の連鎖を再帰で自己に畳み込むと、**理論上は横ばいか爆発かのどちらかになるはず**であり、ソフトテイクオフが成立するには「正確に都合の良い収穫逓減則」という極めて狭い条件(本稿の言う "soft takeoff keyhole")が必要になる。観測された歴史的傾向——自然選択から人類知能への遷移は線形/緩やかな加速、人類知能から科学技術への遷移は指数的/超指数的——をそのまま畳み込むと、その都合の良い法則が偶然成立する可能性は低い、というのが Yudkowsky の主張である。 ## その他のハードテイクオフ要因 本稿末尾では、無防備な状態で放置されたインターネットと高速な逐次コンピュータという [[リソースオーバーハング]] も、ハードテイクオフに寄与する追加要因として簡潔に挙げられる。「局所性」(なぜ知能爆発が人類全体でなく特定のAIに集中するのか)の論点は続編に回すとされている(本稿はシリーズの1エントリであり、局所性は主に [[Robin Hanson]] との FOOM debate で争点になった)。 ## 出典 - Yudkowsky, Eliezer. "Recursive Self-Improvement." LessWrong (Dec 2008). https://www.lesswrong.com/posts/JBadX7rwdcRFzGuju/recursive-self-improvement - 本稿はシリーズの続編であり、"Life's Story Continues"・"Surprised by Brains"・"Cascades, Cycles, Insight"・"Recursion, Magic"・"Engelbart: Insufficiently Recursive"・"Total Nano Domination" という先行エントリを前提とする(いずれも同シリーズ内リンクで参照されるのみで、本 ingest では原文未読)。