# ExaScale Computing Study - Chapter 3: Background > 前: [[@2008__DARPA__ExaScale Computing Study - Chapter 2 Defining an Exascale System]] | 次: [[@2008__DARPA__ExaScale Computing Study - Chapter 4 Computing as We Know It]] | 全体: [[ExaScale Computing Study - Technology Challenges in Achieving Exascale Systems]] ## 要約 テラスケールからペタスケールに至る 1990 年代以降の経緯と、従来技術の停滞の兆候を述べ、2015 年を目標とする本研究の位置づけと、1999〜2006 年の先行研究 11 本の要旨を整理した背景章である。ペタスケールの類推から、エクサスケールは明示的な支援なしには到達が保証されないと論じる。 ## 主要概念 - **ペタスケールまでの経緯**: 1996 年に ASCI Red が 1 teraflops をピーク・持続の両方で超えた。1994 年初頭にはペタフロップス(テラフロップスの 1000 倍)の検討が始まり、HTMT(Hybrid Technology Multi-Threaded)や HPCS([[DARPA HPCS]])などの政府支援研究を経て、ピークのペタフロップス機は「今から 1 年以内」、持続のペタフロップス級は 2010 年までに現れると見込まれた (p.17)。 - **規模の語**: 浮動小数点演算に依らない用途(インターネット商取引、マルチメディアのオブジェクトデータベース、諜報)にも大規模な計算資源が要るため、flops だけでなく giga / Tera / Petascale の語で規模を表す (p.17)。ピーク性能と持続性能は脚注 2・3 で定義される (p.17)。 - **停滞の兆候**: 従来どおりの技術開発では飛躍が難しい兆候が 8 点ある。クロックの横ばい、命令レベル並列性(ILP)抽出とキャッシュ階層による遅延隠蔽の頭打ち、リソグラフィが 193 nm 深紫外光源に留まること、設計費の高騰、アーキテクチャ研究費の減少などである (§3.2, p.18)。 - **ムーアの法則の二通りの解釈**: 素子密度の倍増は続く。性能が 24 か月で倍増すると(誤って)解するなら、クロックが 2000 年代初頭から横ばいという電力の壁に当たっている (p.18)。 - **tipping point**: 民間ベンダが技術の商用実現可能性を確信する時点。ペタスケールでは 2000 年代初頭だった。2010 年までに有望技術の tipping point を作ることが研究目標である (§3.5, p.20)。 ## 主要主張 - ペタスケールは構想から配備見込みまで約 16 年かかったが、技術・アーキテクチャ・プログラミングモデルは早期に見通されていた。エクサスケールは明示的な支援なしには、さらに 16 年待っても出現が保証されない (p.19)。 - 技術は見通せる解のない壁に当たっており、商業的圧力はベンダを次の性能水準に要る方向へ導かない (p.19)。ハードウェアとソフトウェアを個別に探る単一領域の研究では現在の課題に対処できない (p.18)。 - 数十コアの個人向けコードや数百万プロセッサへ応用を拡張する手法は「ほぼ存在しない」とされる (p.19)。 - 本研究は 2007 年春に DARPA が開始した。ジョージア工科大学が契約を受けて運営し、議長は [[Peter Kogge]]([[DARPA]] 委託)。2010 年までに取り組むべき障壁を洗い出し、2015 年の配備を支えることが成果目標である (§3.4, p.19)。副次目標として組込みテラスケールがある (p.19)。 - 目標時期は技術・システムともに 2015 年で、製品部品の設計に使う基盤技術の目標を 2013〜2014 年に置く。二本立てで、「あらゆるクラスを作れる技術の完成」と「一部クラスのシステム実現」を指す (§3.5, p.20)。 > [!note] 原文の記述の注意 > §3.5 は 2015 年目標を「ペタスケール到達までの約 1/2 の期間」とする。§3.1 のペタスケール約 16 年(1994〜2010 年)とは別の基準で数えられている。 - 並行研究として、DoE 支援の E3SGS(エクサスケールの応用とアルゴリズムを扱い、システム構成は扱わない)と、2007 年 10 月の Frontiers of Extreme Computing(ゼタフロップスを究極の限界とするシリーズの 3 回目)がある (§3.6, p.20)。 ## 先行研究 11 本(§3.7) | 節 | 報告(年) | 要旨 | |---|---|---| | 3.7.1 | PITAC 報告(1999) | 大統領への報告。情報技術研究への投資の不足を指摘 (p.21) | | 3.7.2 | DSB 報告(2000) | 国防総省のスーパーコンピューティング需要を扱う (p.21) | | 3.7.3 | 国家安全保障 HPC 要件調査(2001) | 商用 PC ベースの系は調査した DoD 関連 10 応用領域のうち暗号解析を除き有用。不規則なグローバルメモリ参照の応用は拡張が不調。OpenMP 研究と HPC 生産性向上の研究計画を勧告 (p.21) | | 3.7.4 | DoD の HPCS 向け R&D アジェンダ(2001) | プロセッサ・通信・電力・排熱の不均衡で大規模応用に対し系が慢性的に非効率。ソフトウェアツールの必要と、高性能アーキテクチャへの研究費のほぼ消滅による学界の関心低下を指摘 (p.22) | | 3.7.5 | 国家安全保障向け HPC(2002) | R&D の構成が均衡と調整を欠き、維持に要る臨界量を大きく下回る。メモリ副系とプログラミング環境が未対応。7 つの研究領域へほぼ均等な投資の回復を勧告 (pp.22–23) | | 3.7.6 | Jason の ASCI 要件研究(2003) | ASCI Capacity 系の 2 倍の過剰申込みが悪化すると予測。将来計算はメモリ 125 倍・計算 500 倍(1 ゾーンあたり、不透明度計算)、反応流動力学 40 倍、Sn 輸送 4 倍と見積もられた (p.23) | | 3.7.7 | 高性能計算再活性化ロードマップ(HECRTF、2003) | 短期策や一度きりの crash program ではペタスケールに要る技術の流れを作れない。電力管理・相互接続・3D 実装などの要素技術、COTS 型とカスタム型の二類型のアーキテクチャ、10 万ノード超の故障管理、多分野・多スケールの応用に要るソフトウェアツール投資を論じた (pp.23–24) | | 3.7.8 | Getting Up to Speed(米国科学アカデミー、2004) | 2 年間の研究。ピーク性能の伸びに持続性能と生産性が追い付かない。追加の約 12 応用領域で 5 年以内に 1000 倍以上の性能が要る。一部の重要応用はカスタム系のメモリ帯域と遅延隠蔽を要する (p.24) | | 3.7.9 | Grand Challenges in Computer Architecture(CRA、2005) | 65 nm 以下の技術変化を検討。1 teraops/W の "featherweight supercomputer"、普及する並列プログラミングモデル、信頼できる系、非ノイマン型の新計算モデルの 4 課題を提示 (pp.24–25) | | 3.7.10 | 防衛重要技術タスクフォース(DSB / UK、2006) | 国家安全保障の高性能需要は民生市場向けの系では満たされない。知識発見と画像・映像処理の 2 つのメモリ集約応用が重要。HPCS の継続化を勧告 (p.25) | | 3.7.11 | The Landscape of Parallel Computing Research(Berkeley、2006) | 2 年間の研究。マルチコアは理想解ではなく、並列ハードウェアとソフトウェアの新しい解が要る。13 の benchmark dwarves を提案し、1000 規模の単純なコアの搭載と自動適応の autotuner に触れる (pp.25–26) | > [!note] 原文の乱れ > §3.7.7 のカスタム型の性能優位は「forecast of between 10X and, programmability advantage of twofold to fourfold」と数値が途切れており、上限は読み取れない。プログラミングの容易さの優位は 2〜4 倍とされる (p.24)。 ## 傾向 先行研究は、投資の不足(3.7.1・3.7.4・3.7.5)、メモリ・相互接続・電力(3.7.4・3.7.7・3.7.8)、プログラミングと応用(3.7.3・3.7.7・3.7.11)、カスタムアーキテクチャの必要(3.7.7・3.7.8・3.7.10)を繰り返し指摘した。 ## 未解決の問い - 先行研究が求めた新しい並列ハードウェアとソフトウェア、非ノイマン型の計算モデル、1 teraops/W の系は、この章では実現手段が示されず課題のまま残る (pp.24–26)。 ## 関連 - ハブ: [[ExaScale Computing Study - Technology Challenges in Achieving Exascale Systems]] - 組織: [[DARPA]]、[[Peter Kogge]]、[[Georgia Institute of Technology]]、[[DARPA HPCS]] - 前後の章: [[@2008__DARPA__ExaScale Computing Study - Chapter 2 Defining an Exascale System]]、[[@2008__DARPA__ExaScale Computing Study - Chapter 4 Computing as We Know It]]