## 定義 **Moore の法則**は Gordon Moore による半導体集積回路のトランジスタ密度に関する予測で、1965年の原予測では毎年2倍、1975年の改訂版では2年ごとに2倍の密度向上を見込んだ。**Dennard スケーリング**は Robert Dennard による、トランジスタ密度が増加するにつれ1トランジスタあたりの消費電力が低下し、結果としてシリコン単位面積(mm²)あたりの消費電力がほぼ一定に保たれるという予測である。両者はともに、集積回路の1世代ごとの性能・電力効率向上を可能にしてきた基盤的な前提だった(Source: [[@2019__CACM__A New Golden Age for Computer Architecture]])。 ## 終焉の経緯 - Moore の法則は2000年頃から鈍化し始め、2018年時点で Moore の1975年版予測と実際の Intel マイクロプロセッサ密度実績との間に約15倍のギャップが生じている(Moore 自身も2003年に将来のギャップの必然性を指摘していた)。 - Dennard スケーリングは2007年頃から顕著に鈍化し始め、2012年までにほぼ消失した。プロセス微細化(nm)が進む一方で、単位面積あたりの相対消費電力は上昇に転じ、2000年頃の1近辺から2020年頃には4を超える水準に達した。 ## 性能向上への影響 Dennard スケーリングの終焉により、命令レベル並列性(ILP)を追求するだけでは電力効率が改善しなくなり、アーキテクトはマルチコアへの移行を余儀なくされた。マルチコアは各コアが電力を消費するため、Dennard スケーリングが機能しなくなった状況ではコア数を増やすほど消費電力も増加し、熱設計電力(TDP)の制約から「dark silicon(暗いシリコン)」— クロック低下やアイドルコアの電源オフでオーバーヒートを防ぐ設計 — の時代を招いた。加えて Amdahl の法則(並列化の恩恵は逐次実行部分の割合に制限される)がマルチコアの効果に上限をかける。これらが重なった結果、汎用プロセッサの性能向上率は次のように段階的に低下してきたと分析される(VAX11-780比の相対性能、年率): | フェーズ | 年率 | 倍化年数 | |---|---|---| | CISC 時代 | 22%/年 | 2.5年で2倍 | | RISC/ILP 時代(1986〜2002年ごろ) | 52%/年 | 1.5年で2倍 | | マルチコア時代(Dennard スケーリング終焉後) | 23%/年 | 3.5年で2倍 | | Amdahl の法則支配期(現在) | 12%/年 | 6年で2倍 | | 予測される「End of the Line」 | 3%/年 | 20年で2倍 | Amdahl の法則の影響は具体的に、逐次実行部分が全体の1%の場合、64プロセッサ構成での高速化が約35倍にとどまる一方、消費電力は64プロセッサ分必要となるため約45%のエネルギーが無駄になると試算されている(Source: [[@2019__CACM__A New Golden Age for Computer Architecture]])。 ## 横断的知見 - **AI応用の語りでは「終焉」でなく「20年でスパコンが手のひらのチップになる」という肯定的な指数則として提示される**: 本ページの主ソースである[[@2019__CACM__A New Golden Age for Computer Architecture]]は、Mooreの法則が2000年頃から鈍化し2018年時点で1975年版予測との間に約15倍のギャップが生じていることを実測データで示す。一方[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]は同じMooreの法則を「1.5〜2年ごとに2倍という性能向上を数十年続けてきた」という前提のまま引用し、2001年のスーパーコンピュータIBM ASCI White(7.2兆回/秒)を2021年のスマートフォン向けチップApple A14 BionicのNeural Engine(11兆回/秒)が上回った例を挙げて、この指数的な性能向上こそがディープラーニングの急速な発展を可能にした二大要因の一つだと位置づける。同じ指数則がアーキテクチャ研究では「鈍化・終焉した過去の前提」として、AI技術史の語りでは「なお有効な発展の原動力」として異なる文脈で参照されており、参照する時間軸(半導体全体の集積度トレンド対individual chip世代間の実測性能比)や指標(トランジスタ密度対AI推論演算性能)の違いに注意が必要である。(Source: [[@2019__CACM__A New Golden Age for Computer Architecture]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) - **Dennardスケーリング終焉後の対応策として、AI分野では汎用CPU/GPUの追求よりドメイン固有チップ(ASIC)への移行が具体例とともに語られる**: 本ページの「性能向上への影響」節はDennardスケーリング終焉後の一般的な対応としてマルチコア化とドメイン固有アーキテクチャ(DSA)への移行を挙げるが、これは主にコンピュータアーキテクチャ研究者の視点からの抽象的な議論である。これに対し[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]は、ディープラーニングのワークロードが固まってきたことを受けたGoogleのTPU、GraphcoreのIPU、Preferred NetworksのMN-Core、NVIDIAのTensor Core搭載GPUという具体的な専用チップ群を、汎用処理を絞り込むことで性能・電力効率を改善する実例として提示する。DSAへの移行というアーキテクチャ研究側の一般論を、AI業界の具体的な製品群が裏付けている。(Source: [[@2019__CACM__A New Golden Age for Computer Architecture]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) - **AI研究者自身がムーアの法則の終焉を「計算性能を活かした汎用手法(Bitter Lesson)への反論の根拠」として引用しているが、著者(岡野原)はこの反論を認識しつつBitter Lesson支持の立場を崩していない**: 『ディープラーニングを支える技術〈2〉』第5章は、ロボット研究者Rodney BrooksがRichard SuttonのBitter Lesson(計算性能向上を活かした汎用手法が長期的に有効という主張)に対する反論の一つとして「ムーアの法則はすでに終焉を迎えつつある」ことを挙げたと紹介する。これは本ページが実測データで示す2000年代からの鈍化(2018年時点で1975年版予測との間に約15倍のギャップ)が、AI研究コミュニティ内でも認識され計算性能中心のアプローチへの懐疑的論拠として使われていたことを示す一次資料である。他方で同章の著者自身は、Brooksの反論を紹介した上でなお「Bitter Lessonの意見を支持する立場」を取り、計算性能のさらなる向上が今後も不可欠だと述べる。これは、ムーアの法則の終焉という工学的事実の認知と、AI研究の実務的な戦略判断(計算性能重視を続けるか否か)が必ずしも直結しないことを示す一例であり、本ページが示す「AI分野の解説書がMooreの法則を『なお有効』として引用する」傾向(既存の横断的知見)とも整合する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.2, [[@2019__CACM__A New Golden Age for Computer Architecture]]) - **教科書版の性能成長率表は、CACM論文版の表とほぼ同一の年率・境界年を独立に再録しており、著者自身による定量的主張の再現性を裏づける**: 本ページの「性能向上への影響」節の表(CISC時代22%/2.5年、RISC/ILP時代52%/1.5年、マルチコア時代23%/3.5年、Amdahl支配期12%/6年、End of the Line 3%/20年)は[[@2019__CACM__A New Golden Age for Computer Architecture]]に基づくが、同じHennessy&Pattersonが著した[[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.1の図1.1キャプションは、境界年をほぼ同一(1986年・2003年・2011年・2015年)にしたまま、年率をわずかに異なる数値(22%・52%・23%・12%・3.5%、最後の区間のみCACM論文の「3%」と教科書の「3.5%」で0.5ポイントの差)で提示する。これは、CACM論文(Turing講演のCACM掲載版)と教科書第6版という異なる媒体・異なる想定読者向けの2つの著作物が、同一著者による同一の実測データ(VAX-11/780比のSPEC整数ベンチマーク性能)に基づき独立に定量的主張を再現していることを示す一次資料であり、境界年の完全な一致と年率のわずかな差(丸め方の違いによると考えられる)は、この種の「著者自身による複数媒体での再録」を評価する際の参考になる。(Source: [[@2019__CACM__A New Golden Age for Computer Architecture]], [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.1) - **教科書版はCACM論文が明示しない「dark silicon」という用語の直接的な定義と、それを引き起こす熱設計電力(TDP)の制約の因果関係を明示する**: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.5は、dark siliconを「熱的制約によりチップ上のトランジスタをすべて同時に通電できない現象」と定義し、これがドメイン固有アーキテクチャへの転換を動機づける中心的な観察であると位置づける。本ページの「性能向上への影響」節はdark siliconを既にAmdahlの法則・マルチコア化との関連で言及しているが、その定義の直接的な出典は本教科書§1.5にある。また教科書§1.11はITRS(International Technology Roadmap for Semiconductors)の2013年版・2015年版(最終版)の物理ゲート長予測を対比し、2013年版が2028年に5nm到達を予測していたのに対し2015年版は2021年に10nmで頭打ちになると下方修正したことを示す——これは本ページが述べる「Moore の法則の鈍化」の物理的根拠を補強する、CACM論文にはない定量データである。(Source: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.5, §1.11) - **教科書版第7章は、第1章が示した性能成長の鈍化を「原因」、ドメイン固有アーキテクチャ(DSA)への転換を「唯一の帰結」として明示的に接続し、その定量的根拠を演算あたりのエネルギーコストで補強する**: 本ページの「性能向上への影響」節は[[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.5に基づき、Dennardスケーリング終焉がマルチコア化とdark siliconを招いたことまでを述べるが、その先([[ドメイン固有アーキテクチャ|DSA]]への転換がなぜ「唯一の道」なのか)は第1章では詳述されない。[[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 7 Domain-Specific Architectures]] §7.1はこの空白を埋め、「デナードスケーリングの終焉により演算あたりのエネルギーを下げない限り性能は上げられなくなり、汎用コアの改良ではもはや10%程度の改善しか望めない」と明言したうえで、90 nmプロセスにおいてRISC命令1回(125 pJ)が8ビット加算(0.2〜0.5 pJ)の数百倍のエネルギーを要するという実測データ(図7.2)を根拠に、「桁違いの改善を得るにはドメイン固有アーキテクチャへの転換が必要」という結論を導く。第1章が示す「終焉という事実」と、第7章が示す「DSAという処方箋」は同一著者による同一書籍内の異なる章でありながら、独立した論証(性能成長率の実測 対 演算あたりエネルギーコストの実測)から同じ結論に収束しており、単なる後方参照ではなく異なる証拠体系による裏づけになっている。(Source: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.5, [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 7 Domain-Specific Architectures]] §7.1) - **第7章のTPU実例は、第1章が抽象的に論じた「DSAへの転換」を具体的な性能数値で実証する**: 第1章は汎用プロセッサの性能成長率の段階的低下(CISC時代22%/年→Amdahl支配期12%/年→予測されるEnd of the Line 3%/年)を示すにとどまり、DSAがどの程度の改善をもたらすかは定量化しない。第7章はGoogle TPUが同一のDNN推論ワークロードでHaswell CPU比29.2倍・NVIDIA K80 GPU比15.3倍のスループットを達成したと報告し、これは第1章が示す汎用プロセッサの年率数%〜十数%の改善ペースとは桁が異なる。この対比は、本ページ既存の横断的知見が指摘する「Dennardスケーリング終焉後の対応策としてDSAが具体例とともに語られる」傾向(『ディープラーニングを支える技術』のTPU・IPU・MN-Core言及)を、同一書籍内でより厳密に(制御された比較実験として)裏づけるものである。(Source: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]], [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 7 Domain-Specific Architectures]] §7.4, §7.9) > [!contradiction] [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]]と緊張関係 > 本ページは Moore の法則が2000年頃から鈍化し、2018年時点で1975年版予測と実績の間に約15倍のギャップが生じていると述べる([[@2019__CACM__A New Golden Age for Computer Architecture]])。一方 [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]] はKurzweilの前提(集積度Nが時間tの指数関数、N∝2^t)をそのまま採用し、これが2045年のシンギュラリティ予測・生成AIの「指数関数の指数関数」的進化速度の議論の出発点になっている。集積度の指数関数的増加が実際にはすでに大きく鈍化しているのであれば、両論文の議論の前提(N∝2^tの継続)自体が揺らぐ。ただし [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]] はチップの物理サイズを固定した上でのプログラム複雑度の議論が主眼であり、集積度の増加率(鈍化しているか否か)そのものは検証していない。要解決: Nの増加率が鈍化した場合、本論文の「指数関数の指数関数」という結論は「(鈍化した指数関数)の指数関数」に弱まるのか、定性的な議論の範囲でどこまで頑健か。 ## 未解決の問い - Dennard スケーリング終焉後の性能向上率(3%/年という「End of the Line」予測)は、2019年以降の実測データでどこまで成立しているか。 - チップレット・3D V-Cache のような先進パッケージング技術は、Dennard スケーリング終焉が課す電力制約をどこまで緩和しているか。→ [[チップレット]] - ドメイン固有アーキテクチャ(DSA)への移行は、Moore の法則・Dennard スケーリングの終焉に対するアーキテクト側の主要な回答として、その後どこまで実証されているか。 - [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]]が前提とするN∝2^t(集積度の指数関数的増加の継続)は、本ページが示す鈍化(2018年時点で予測比15倍のギャップ)を踏まえるとどこまで妥当な前提と言えるか。 - AI分野の解説書がMooreの法則を「なお有効」として引用する際、実際にはトランジスタ密度そのものではなくGPU/ASICなどドメイン固有チップの性能向上を指標としている場合が多いのではないか。『ディープラーニングを支える技術』第1章のIBM ASCI White対Apple A14 Bionic比較はスーパーコンピュータ対民生チップという異なるカテゴリの比較であり、同一世代のプロセスノードでの密度比較ではない。この種の「体感的な指数則」の語りと、本ページが示す実測ベースの鈍化データとの対応関係を精査する必要がある。 - CACM論文の「3%/年」と教科書の「3.5%/年」というEnd of the Line区間の年率の差は、単なる丸め方の違いか、それとも参照するSPEC世代・観測期間の微妙な違い(教科書は2015年以降のデータをより長く観測している可能性)に起因するか。教科書§1.1の脚注は「SPEC2017の結果が少なすぎてまだプロットできない」と述べており、参照データセットのバージョン差が数値差の原因である可能性がある。 ## 関連 - 電力の壁・ILP の壁との関係 → [[メモリウォール]] - Dennard スケーリング終焉後の代替戦略 → [[ドメイン固有アーキテクチャ]] - 集積度向上とプログラム複雑度増大の議論(前提の頑健性に緊張関係) → [[シンギュラリティ]]、[[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]] - AI分野からの指数則の語りと専用チップ(TPU・IPU・MN-Core・Tensor Core)によるDSAの実例 → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] - 同一著者による教科書版の性能成長率表・dark silicon定義・ITRS予測データ → [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]]、[[アムダールの法則]] - 終焉の帰結としてのDSAの定量的実証(TPU・Catapult・Crest・Pixel Visual Core) → [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 7 Domain-Specific Architectures]]、[[ドメイン固有アーキテクチャ]] ## 出典 - [[@2019__CACM__A New Golden Age for Computer Architecture]] - [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.3. - [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 1 Fundamentals of Quantitative Design and Analysis]] §1.1, §1.5, §1.11 - [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 7 Domain-Specific Architectures]] §7.1(演算あたりエネルギーコストの実測データによるDSAへの転換の論拠)