> [!abstract] 概要(TJSAI Summary の日本語訳) > Ray Kurzweil は、2045年までにシンギュラリティが到来し、その時点でコンピュータの計算能力が人類の計算能力を上回ると主張する。この主張はムーアの法則を根拠としており、同法則は技術の進歩がチップの集積度を高め、それによって信号の伝達距離が短縮されて伝達速度が向上し、結果として計算が高速化すると述べる。しかし、この議論はチップ上に書かれるプログラムを考慮していない。集積度が上がる一方でプログラムのサイズが固定のままであれば計算は自動的に高速化する、という前提に立っている。では、チップの物理的サイズが変わらないとすればどうなるか。集積度が上がると、格納できるプログラムのサイズは増加する。さらに、N倍大きいプログラムはN倍を超える量の情報を扱うことができる。計算がチップ上の局所的通信のみに依存する場合、速度は√N倍になる一方、計算容量はN倍になる。他方、計算が大域的通信を必要とする場合、速度は変わらず、これはKurzweilの予測と一致する。Transformerに用いられるGPUでのベクトル計算のようにSIMD(Single Instruction, Multiple Data)アーキテクチャで動作する場合、計算は局所的である。これは、速度が増加するだけでなく、プログラムの複雑性も増加しなければならないことを意味する。 > 本論文の中心的な主張は、全体的な速度向上はKurzweilが主張するような単なる指数関数ではなく、指数関数の指数関数になるというものである。本論文ではこれ以上踏み込まないが、この議論はより広範な並列計算アーキテクチャ一般にも適用できるはずである。 ## 論文情報 - タイトル: AI システムの進化速度は指数関数を超えている(Hyper-Exponential Evolution of AI Systems) - 著者・所属: [[中島秀之]](札幌市立大学学長)・[[津田一郎]](札幌市立大学AITセンター特任教授) — いずれも [[札幌市立大学]] 所属 - 媒体: 人工知能学会論文誌(TJSAI)40巻3号E、2025年、原著論文(Original Paper)。2024年8月14日受理。担当委員: 我妻広明 - DOI: https://doi.org/10.1527/tjsai.40-3_E-O84 - keywords: singularity, computational complexity, exponential, AI ## 概要 Ray Kurzweilが2045年にシンギュラリティが到来すると主張する根拠(ムーアの法則による計算速度向上)は、チップに書き込まれるプログラムの複雑性増加を無視していると批判し、チップの物理サイズを一定に保ったまま集積度が上がる場合の計算量を組合せ論的に再導出する4ページの短い理論的位置づけ論文である。局所通信のみで完結する計算(SIMD型のTransformer attentionなど)では速度向上とプログラム複雑度向上が同時に起こるため、全体の進化速度はムーアの法則が示す単純な指数関数ではなく「指数関数の指数関数」になると結論づける。 ## 問題設定 入力は、Kurzweil[Kurzweil 05, Kurzweil 16]のシンギュラリティ論の前提そのものである。Kurzweilの議論は「チップの集積度(単位面積あたりの素子数)が上がる→信号の伝達距離が(面積の平方根に比例して)短くなる→伝達速度が上がる→計算が高速化する」という因果連鎖に立脚し、チップに書かれるプログラムの内容には言及していない。本論文はこの前提の欠落(プログラムサイズが固定であるという暗黙の仮定)を問題として設定し、チップの物理サイズを一定に保ったまま集積度がN倍になったとき、(1)格納可能なプログラムのサイズ、(2)扱える情報量、(3)計算速度、の3者がどう変化するかを、計算が局所的通信のみで完結する場合と大域的通信を必要とする場合とに分けて再検討する。 ## 提案手法 - **アーキテクチャ**: 実装を伴うシステムではなく、集積度Nをパラメータとした組合せ論的な計算量モデルによる理論的導出。 - **アルゴリズム/手法の詳細**: - チップの集積度がN倍になると、論理回路・記憶回路もともにN倍に集積される。論理演算用に元々Lビットの計算容量があったとすると、集積後はNLビットに増加する。このとき可能な計算量Cは、NLビットのうちどのkビットを使うかの組合せの総和として C(N) = Σ_k C(NL, k) = (1+1)^(NL) = 2^(NL) と推定される。d ≡ 2^L とおくと C(N) = d^N となり、Nの指数関数で増加する(対数評価では log 2^(NL) = NL 倍、すなわちN倍)。記憶回路についても同様にkd^N(kは定数)で増加すると考えられる。 - ムーアの法則は集積度が時間tの指数関数で増加すること(N ∝ 2^t、tは年単位)を主張するので、これを代入すると、可能な計算量は 2^(2^t) に比例して増加する。すなわち時間に関する指数関数の指数関数で増加すると推定される。 - 計算が局所的通信のみで実行される場合、通信距離は面積の平方根に比例して減少するため速度はN倍になったままN倍の大きさの計算ができる(脚注: 通信距離は面積の平方根で減少する)。計算が大域的通信を必要とする場合は速度は元のままであり、この場合はKurzweilの予測どおりになる。 - Transformerのattention機構はGPU上でSIMD(Single Instruction, Multiple Data)型のベクトル演算として実行され、演算ユニットの独立性が高くユニット間通信が少なく、メモリアクセスも局所的になりやすいという特徴を持つ。attention機構では離れた場所に格納されたデータ間の依存関係が(全域参照ではなく)存在せず大域的通信が不要であるため、速度がN倍になるだけでなくプログラムの複雑性も増すはずだと主張する。 - **実装上の工夫**: 本論文はモデルによる定性的議論に留まり、具体的な実装・実験は行っていない。 ## 新規性 既存のKurzweilの議論[Kurzweil 05, Kurzweil 16]は、人間の大脳の構造をそのままアップロードしてシミュレーションするという前提のもとで計算速度のみを論じ、AIプログラムの複雑性の議論を意図的に回避している。本論文は、計算科学におけるコルモゴロフ複雑性・プログラムの長さ・パラメータ数という複数の複雑度尺度を検討したうえで(2章)、「チップの物理サイズを固定して集積度を上げる」という条件のもとではプログラムの複雑度自体が増大するという観点を導入する点が新規性である。速度の指数関数的増加(ムーアの法則由来)と複雑度の指数関数的増加(集積度由来)を掛け合わせることで「指数関数の指数関数」という結論を導く。 ## 実験設定 本論文は理論的・定性的な議論であり、著者らによる実験は行われていない。定量的な参照値として、Kurzweil[Kurzweil 16]の2030年代初め(1000ドルで約10^17〜10^20 cps)・2040年代中盤(1000ドルで10^26 cps)の計算能力見積もりを引用しているのみである。 ## 実験結果 実証実験は存在しない。理論的導出の結果は次の2点に要約される。(1) チップの集積度がN倍になると、可能な計算量は2^Nに比例した増加率、すなわちNの指数関数で増加する。(2) ムーアの法則(N∝2^t)と組み合わせると、可能な計算量は2^(2^t)に比例して増加し、時間に関する指数関数の指数関数となる。 ## 考察 Transformerのattention機構の基盤としても使いうる現代版ホップフィールドネットワーク[Ramsauer 21](2024年度ノーベル物理学賞)は連想記憶回路であり、ネットワークの状態と記憶の内積(SIMD型並列計算が可能)を結合の重みとすることで、何にattentionをかけるかを効率よく決定でき、結果として記憶容量をノード数の指数関数で増加させられる。この局所性・SIMD適合性が本論文の中心的議論(集積度の向上×プログラムの複雑度の向上)の条件を満たすため、生成AIの進化はKurzweilの予測より速いのではないかと主張する。ただし著者ら自身、「生成AIの進化に必要なプログラムの複雑さがここで示した単純な計算量そのものであるとは言えないだろうが、上記の方向で加速する可能性はあると思う」と留保をつけており、緻密なモデルによる定量的議論ではなく定性的な示唆に留まると明言している。また、本論文の議論は「大域的通信を必要としない並列計算一般」に適用できるはずだとしつつ、それが並列計算の世界でどの程度一般的なのかは論文の対象範囲を超えるとして明示的に議論していない。 > [!contradiction] [[ムーアの法則とデナードスケーリングの終焉]]と緊張関係 > 本ソースはKurzweilの前提(集積度Nが時間tの指数関数、N∝2^t)をそのまま採用して議論を進めるが、[[ムーアの法則とデナードスケーリングの終焉]]は2000年頃からのMoore's law鈍化・2018年時点で1975年版予測比15倍のギャップを報告している([[@2019__CACM__A New Golden Age for Computer Architecture]])。本ソースはチップの物理サイズを固定した上でのプログラム複雑度の議論が主眼であり、集積度の増加率自体の検証は行っていないため、鈍化を踏まえると「指数関数の指数関数」という結論の頑健性は未検証のまま残る。詳細は [[ムーアの法則とデナードスケーリングの終焉]] を参照。 ## 強み / 弱点・課題 - **強み**: Kurzweilのシンギュラリティ論に対する批判点(計算速度のみを論じ、プログラムの複雑性増加を無視している)は明快で的を射ている。チップサイズ固定・集積度N倍という設定のもとでの組合せ論的な計算量導出(C(N) = 2^(NL))は、定性的な主張を具体的な数式に落とし込んでおり、局所通信/大域的通信という二分法によってKurzweilの予測が成り立つ条件を明示している。Transformerのattention機構・SIMD・現代版ホップフィールドネットワークという2020年代の生成AIの具体的な技術要素と接続させている点も妥当である。 - **弱点・課題**: 全体が理論的・定性的な議論に留まり、生成AIの実際の複雑度成長を計測する実験・データは一切提示されない。著者ら自身が「生成AIの進化に必要なプログラムの複雑さが本論文で示した単純な計算量そのものであるとは言えない」と認めており、モデルの実証的妥当性は検証されていない。「大域的通信を必要としない並列計算一般」への一般化可能性についても、著者らは「本論文の域を超えるので議論しない」として明示的に留保しており、Transformer以外のアーキテクチャへの適用範囲は未検証のまま残る。4ページの短い論文で、原著論文(Original Paper)という位置づけながら実質的には視点提起・エッセイに近い性格を持つ。