# ExaScale Computing Study - Chapter 6: Technology Roadmaps > 前: [[@2008__DARPA__ExaScale Computing Study - Chapter 5 Exascale Application Characteristics]] | 次: [[@2008__DARPA__ExaScale Computing Study - Chapter 7 Strawmen - Where Evolution Is and Is Not Enough]] | 全体: [[ExaScale Computing Study - Technology Challenges in Achieving Exascale Systems]] ## 要約 第 6 章は、ロジック、主記憶、大容量ストレージ、相互接続、パッケージと冷却、耐障害性、運用環境、プログラミングモデルの各技術について、2015 年までの現行資金下でのロードマップと物理限界を整理する。結論は、どの技術も単独ではエクサスケールの電力・容量・耐障害の要件を満たさないことである。章内に単一の主張はなく、各技術で現状・限界・ロードマップ・研究機会を並べる構成をとる。 ## 分類軸 - 技術成熟度: NASA の技術成熟度レベル(Technology Readiness Level, TRL)1–9 を用いる。TRL 1–2 を基礎研究、3–4 を応用研究、5–6 を先端技術開発の予算区分に対応づけ、TRL 6 を越えれば自律的な商用開発に移ると見なす (p.86)。 - 技術領域: ロジック(§6.2)、主記憶(§6.3)、ストレージ(§6.4)、相互接続(§6.5)、パッケージングと冷却(§6.6)、耐障害性(§6.7)、運用環境(§6.8)、プログラミングモデル(§6.9)の 8 領域で節を切る。 - 横断する壁: 電力(ロジックと DRAM)、帯域(相互接続とストレージ)、耐障害性(ソケット数の増加)の三つが各節を貫く。相互接続節は第 7 章のストローマン(§7.3)から帯域要求を引く。 ## 代表手法・システムの比較 ### ロジック(§6.2) [[ITRS]] 2006 をロジックの標準的な参照ロードマップとし、従来どおりの CMOS を 2020 年まで外挿する (p.87–91)。2013–2014 年に 2005 年のコアを敷き詰めた die は電力密度が 7–10 倍になり、エネルギー/演算は 1/4–1/5 に下がるにとどまる。90nm 設計のコアは 6–8 倍に縮小する (p.88–89)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.1-itrs-roadmap-logic-device-projections.png]] (図6.1. ITRS のロジック素子予測表(2005–2020 年、高性能・低電力素子の面積・遅延・電力密度・エネルギー/演算)。2013–2014 年で電力密度 7–10 倍、エネルギー 1/4–1/5 となる。) > [!note] 原文の不整合 > 図 6.1 の説明は Vdd/Vt を「約 5.5」とするが、表内の値は 3.4–6.9 である。 1 チップの冷却上限は約 100 W で、Vdd もほぼ下げ止まっている。設計方針を変えなければクロックは下がる。低電圧ロジックは短期間で高性能ロジックの持続可能クロックを上回るため、エクサスケール向きの可能性がある (p.90–91)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.2-relative-change-power-parameters.png]] (図6.2. 2004 年基準での電力密度・素子面積・容量・Vdd・電力制約クロックの相対変化。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.3-power-constrained-clock-rate.png]] (図6.3. 電力制約下のクロック。設計を変えなければクロックは下がり、低電圧ロジックが短期間で逆転する。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.4-technology-outlook.png]] (図6.4. 技術展望。ノードが 45nm から 4nm に進む間の統合容量と、遅延・エネルギースケーリングの鈍化およびばらつきを示す。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.5-simple-transport-model.png]] (図6.5. 単純な輸送モデル。酸化膜・しきい値電圧・移動度の三つが律速要因になる。) サブスレッショルドリークは全チップ電力の 30% と仮定する (p.93)。SOI(Silicon on Insulator)の電力利得は 10–20% で、桁違いにはならない (p.93–94)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.6-transistor-sub-threshold-leakage-current.png]] (図6.6. サブスレッショルドリーク電流と、プロセッサ全体のリーク電力比(30–40%)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.7-technology-outlook-estimates.png]] (図6.7. 32/22/16nm の技術見積り表(Vdd、FO4、ロジック/キャッシュ密度、Cdyn)。) 電源電圧を下げる方式が最大のレバーである。Vdd 1% 低下で電力は 3% 減り、周波数は 1–2% 減る (p.94–95)。65nm 試験チップでは 1.2V から 320mV で電力は約 10 倍減、クロックは約 100 倍減となり、同じ性能には約 100 倍の並列度(面積)が要る (p.96)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.8-frequency-power-scaling-supply-voltage.png]] (図6.8. 電源電圧に対する周波数と電力のスケーリング。Vdd 1% 減で電力が 3% 減る。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.9-sensitivities-changing-v-dd.png]] (図6.9. 65nm 試験チップの Vdd 感度(周波数・電力・GOPS/W)。320mV で GOPS/W がピークになる。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.10-technology-scaling-v-t-variations.png]] (図6.10. 技術世代と Vt ばらつき別のエネルギー効率。Vdd スケーリングの利得は世代を越えて続く。) 低電圧設計は回路にも影響し、SRAM は面積が約 10% 増え、レジスタファイルと Domino 論理は避ける必要がある (p.97)。 > [!note] 原文の不整合 > §6.2.4.1 の 2014 年 28nm コアの面積 "12 µm²" は、前後の 0.12→0.03 mm² から見て 0.012 mm² 級の誤記に見える。原文どおり併記する。 ナノ論理では、ナノクロスバと CMOS を混成する CMOL(Likharev / Strukov)と FPNI(Snider / Williams)が提案され、FPNI は 2017 年ごろに実現可能とされる (p.98–100)。特殊コアや通常コアへの一部導入は「研究機会」とされる。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.11-hybrid-logic-circuits.png]] (図6.11. CMOL と FPNI のハイブリッド論理回路の構造図。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.1-some-performance-comparisons-silicon.png]] (表6.1. シリコン CMOS と CMOL・FPNI の比較(面積・遅延・動的電力)。FPNI は面積が 0.133 / 0.038、動的電力が 0.13 の相対値になる。) 超伝導の [[RSFQ]] は、HTMT が 1990 年代後半に出発点とした技術で、2005 年の報告は $372M–$437M の投資で 2010 年にペタ規模設計を開始できると結論した (p.100)。しかし 4K 冷却の Carnot 比だけで 74 W/W、実機は 6.5 kW で 1.5 W の冷却(約 4300 倍)で、メモリ密度は DRAM の約 100 万分の 1 にとどまる。レイテンシと低温槽越えの帯域も限界となるため、汎用エクサスケールには不向きで特殊用途に限られる (p.100–102)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.2-2005-projection-potential-rsfq-logic.png]] (表6.2. RSFQ ロジックの 2005 年時点のロードマップ予測。) ### 主記憶(§6.3) CPU と主記憶のサイクル時間は約 1000 倍乖離し、これがメモリウォール(memory wall)である (p.103)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.12-cpu-memory-cycle-time-trends.png]] (図6.12. CPU と主記憶のサイクル時間の乖離。約 1000 倍のメモリウォールを示す。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.3-area-comparisons-various-memory-technologies.png]] (表6.3. 各種メモリ技術のセル面積の比較。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.13-itrs-roadmap-memory-density-projections.png]] (図6.13. ITRS のメモリ密度予測(DRAM 比)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.14-dram-cross-section.png]] (図6.14. DRAM セルの断面 SEM 像。高アスペクト比のセル構造を示す。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.15-programmed-un-programmed-nand-cells.png]] (図6.15. NAND のプログラム済みセルと未プログラムのセル。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.4-memory-types-characteristics.png]] (表6.4. メモリ種別のセルサイズと書換え耐性。) 不揮発性メモリ(NVRAM)には PCRAM、SONOS、MRAM、FeRAM、RRAM があり、DRAM とディスクの間の層として位置づけられる (p.108–122)。耐障害性の面では、オンチップ冗長性、ソフトエラー、FIT、DIMM ソケット起因の不良が論じられる (p.109–111)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.16-dram-retention-time-distribution.png]] (図6.16. DRAM の保持時間分布。冗長とヒューズによるマージンを示す。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.17-memory-module-rma-results.png]] (図6.17. メモリモジュールの RMA 結果。DRAM 不良 37%、機械欠陥 11%、問題なし 52% となる。) DRAM の可変保持時間(Variable Retention Time, フライングビット)は ECC で緩和できる (p.111–112)。運用中の冗長素子の活用(フィールド修復)には、アンチヒューズのアクセス標準が無い (p.110)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.18-variable-retention-time-it-affects.png]] (図6.18. 可変保持時間がリフレッシュ分布に与える影響。セル C のみが 64 ms を跨ぐ。) 商用 DRAM は JEDEC の規格に沿って進むが、エクサスケールの要求とは合致しないと指摘される (p.113)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.19-industry-memory-projections.png]] (図6.19. iSupply による DRAM 出荷世代別の業界予測。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.20-reduced-latency-dram.png]] (図6.20. 低レイテンシ DRAM の die 写真。面積ペナルティは 40–80% になる。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.21-center-bonded-dram-package.png]] (図6.21. 中央配置ボンディングの DRAM パッケージ。) 主張の核心は、電力を食うのはセルでなくセルへのインタフェースだという点である (p.115)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.22-commodity-dram-module-power-efficiency.png]] (図6.22. 商用 DRAM モジュールの電力効率(mW/GB/s)の推移。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.23-commodity-dram-voltage-scaling.png]] (図6.23. 商用 DRAM の動作電圧の推移。1V を大きく下回れない見通しである。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.5-commodity-dram-operating-current.png]] (表6.5. 商用 DRAM(DDR2-400)の動作電流。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.24-block-diagram-1gbit-x8-ddr2.png]] (図6.24. 1Gbit×8 の DDR2 デバイスのブロック図。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.25-ddr3-current-breakdown-idle-active.png]] (図6.25. DDR3 の待機・アクティブ・読み出し・書き込み別の電流内訳。コア電力は周辺回路より小さい。) セルの書込みは 81 fJ/アクセスと効率的で、行全体を開くことによる読み出しのオーバーフェッチが最大の電力問題とされる (p.116–120)。1 EB/s の主記憶帯域は、DDR3 実績の 600 mW/GB/s で 600 MW 超、セルだけなら 200 kW(ビット線込みで 800 kW)、行 8K ビットを開閉する現行構成では 51 MW 超になる (p.116, 119–120)。 > [!note] 原文の数値 > §6.3.4.4 はワード線を 1.8 MW とし、DRAM セルの書込みエネルギーを 81 fJ と「約 80 fJ」の二通りで記す。原文どおり併記する。 ナノスケールのアドレッシングでは、CMOL 型のデマルチプレクス方式が用いられ、インプリントリソグラフィで 17nm ハーフピッチのクロスバ(約 100 Gbit/cm²)が作られた (p.121–122)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.26-nanoscale-memory-addressing.png]] (図6.26. ナノスケールメモリのアドレッシング(CMOL 型デマルチプレクス)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.27-nanoscale-memory-via-imprint-lithography.png]] (図6.27. インプリントリソグラフィによる 17nm ハーフピッチのクロスバ。約 100 Gbit/cm² を実現する。) ### ストレージ(§6.4) 2014 年時点で 1 EB あたりのディスクは 83 千〜130 万台で、稼働電力は 0.8–3.8 MW である (p.123–124)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.6-projected-disk-characteristics.png]] (表6.6. ディスク特性の予測(消費者・エンタープライズ・ハンドヘルド、2007/2010/2014 年)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.28-disk-capacity-properties.png]] (図6.28. ディスク容量の推移と予測(1 EB あたりのドライブ台数)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.29-disk-power-per-exabyte.png]] (図6.29. 1 EB あたりのディスク稼働電力。2013–2014 年で 0.8–3.8 MW となる。) 回転数(シーク時間)はほぼ横ばいで、1 PB の移動最短時間は約 15 秒である(EB を約 15 万台に分散し最大帯域の場合)。10 PB のディスク系が実効 30% の帯域だと、チェックポイントに約 5 時間かかりうる (p.124–126, 150)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.30-disk-transfer-rate-properties.png]] (図6.30. ディスクの転送率と 1 PB 移動時間。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.31-disk-price-per-gb.png]] (図6.31. GB あたりのディスク価格。5 年で 10 倍超下がる。) ホログラフィックメモリは InPhase の Tapestry 300r(300 GB)が商用ドライブとして挙がる (p.126)。 ### 相互接続(§6.5) 図 6.32 はストローマンの帯域要求である(コア、ノード、モジュール、ラックの各階層)。オンチップは 110 fJ/bit-mm(低スイング 18 fJ/bit-mm)、オフチップは 30 pJ/bit(市販)から 2 pJ/bit(研究)へ下がる (p.128–131)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.32-interconnect-bandwidth-requirements-exascale-system.png]] (図6.32. エクサスケール・システムの相互接続帯域要求。ストローマンについて、コア、ノード、モジュール、ラックの各階層を示す。) 直接チップ間接続には 3D 積層の TSV、容量結合、誘導結合がある (p.131)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.33-comparison-3d-chip-stacking-communications.png]] (図6.33. 3D 積層のチップ間通信方式(TSV、容量結合、誘導結合)の比較。) 高基数ルータは、2015 年に基数 128–256、チャネル 60–120 Gb/s に達する見通しで、Clos、flattened butterfly、dragonfly が挙がる。Cray BlackWidow の YARC は双方向 1.2 Tb/s、Sun Niagara のクロスバは 200 GB/s で 3.7 W(2.35 pJ/bit)である (p.132)。 光インタコネクトは DC レーザーと変調器で信頼性を上げる方式をとり、単一モード導波路は sub-µm の位置合わせを要する (p.133–136)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.34-entire-optical-communication-path.png]] (図6.34. 光通信路全体の構成(エンコーダからデコーダまで、温度制御を含む)。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.35-modulator-approach-integrated-optics.png]] (図6.35. 集積光学の変調器方式。) 光変調器方式は 2010 年に 7.5 pJ/bit、2015 年に 1.5 pJ/bit を見込む (p.136)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.7-energy-budget-optical-modulator.png]] (表6.7. 光変調器のエネルギー予算(近未来と長期)。) > [!note] 原文の不整合 > 表 6.7 の小計は "0.75 pF/bit" とあり pJ の誤記と見える。長期列は 10% 活性で 1.5 pJ/bit と書かれるが、100% 時の 0.21 の 10 倍(2.1)とは一致しない。 光にはパケットルーティング技術が無く、回線交換のみである (p.136–137)。回線交換機能を追加する価値は、広範なアプリケーションでの性能解析なしには判断できない (p.129)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.8-summary-interconnect-technology-roadmap.png]] (表6.8. 相互接続技術のロードマップ要約。) 原文は「銅配線は少なくともエクサスケール機の時期までは残る」と述べる (p.137)。光は現状で数 m 以遠が損益分岐で、最適化しても 50–100 cm 程度までしか縮まらない (p.130–138)。 ### パッケージと冷却(§6.6) レベル 1 パッケージングには積層、TSV、シリコンキャリアがあり、最先端の有機 BGA は Endicott の HyperBGA(約 2,000 ピン)、Irvine Sensors はシリコンキャリア積層で 117 W の空冷パッケージを実証中である (p.139–141)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.36-representative-current-future-high-end.png]] (図6.36. 現行および将来の高性能レベル 1 パッケージング(積層・TSV・シリコンキャリアの配線密度と帯域を表形式で比較)。) 3D 積層は 2015 年ごろ実用域に入るが、給電と排熱で実用上 4–8 die が限度である。熱流束は最大 200 W/cm² が見込まれる (p.140–144)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.9-internal-heat-removal-approaches.png]] (表6.9. 内部放熱手段の熱伝導率。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.10-external-cooling-mechanisms.png]] (表6.10. 外部冷却手段の熱抵抗と冷却能力。) 空冷は約 100 W、水冷マイクロチャネルは約 170 W までである (p.143)。 > [!note] 原文の不整合 > 空冷の 12 mm die について、表 6.10 は 100 W(60K 上昇)、本文は「100 W を空冷」と述べる。冷却負荷も、§6.6.2 は 10s of MW とし、§6.6.2.2 は目標 20 MW(70M BTU/h、SEER 20 で 350 kW、最大 5%)とする。 データセンター級では、20 MW の排熱の冷却に最大 5% の電力を使う (p.144)。 ### 耐障害性(§6.7) 2015 年にはソケットが 10 万個超、DRAM チップが 1000 万個超になる (p.144–145)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.37-estimated-chip-counts-recent-hpc.png]] (図6.37. 近年の HPC システムのチップ数の推移。ソケットは CAGR 1.22、DRAM は 1.28 で増える。) > [!note] 原文の不整合 > §6.7 冒頭は 2015 年にソケット 10 万個超とするが、§6.7.1 の予測は 220K ソケットである。前者は過去の成長を続けた場合、後者は 25%/年成長の想定である (p.145, 147)。 Schroeder と Gibson のテラスケール機の故障ログ解析では、ソケット数が最大の予測因子で、ディスクが最も頻繁に交換される部品である (p.145)。Michalak らはパリティのみの構造で 6 時間に 1 回の訂正不能なシングルイベントアップセットを報告した (p.145)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.11-root-causes-failures-terascale-systems.png]] (表6.11. テラスケール機の故障の根本原因。ハードウェアが 62% を占める。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-table6.12-bluegene-fit-budget.png]] (表6.12. BlueGene の FIT 予算。DRAM が最大で、合計は 5.3M FIT になる。) [[IBM Blue Gene／L]](64K ソケット、Top500 で 280 TFlops)は、FIT 予算と 12 分チェックポイントの実例である (p.145–150)。ソケット 1 個 0.1 件/年の故障率のままなら 220K ソケットで MTTI は約 24 分、10 倍改善で約 4 時間になる (p.146–147)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.38-scaling-trends-environmental-factors-that.png]] (図6.38. 耐障害性に影響する環境要因のスケーリング。ソケット故障率別の MTTI を示す。) ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.39-increase-vulnerability-function-per-socket.png]] (図6.39. ソケット故障率に対する脆弱性の増加。) 耐障害性の手法は、エンコーディング(5–10% のオーバーヘッド)、スクラビング、プロパティ検査、スペアリング、レプリケーション(100–200%)である。IBM Power6 はこれらを備える (p.147–149)。チェックポイントの最適間隔は p = sqrt(2·t·MTTI)(式 6.11–6.12)で、12 分のチェックポイントでは実効稼働率が崩れる (p.149–150)。 ![[_attachments/darpa-2008-exascale-computing-study/ch06-fig6.40-projected-application-utilization-when-accounting.png]] (図6.40. チェックポイントを考慮した推定アプリケーション稼働率。) ### 運用環境とプログラミングモデル(§6.8–6.9) MPI は支配的なまま残り、マルチコア対応の軽量スレッドと仮想化が課題となる。pGAS 系言語(Chapel、Co-Array Fortran、Titanium、UPC、X10)やアクセラレータ向けモデルは有望だが、現状の機構は特殊すぎて普及しにくい。言語の革新から普及までは約 10 年かかる (p.150–152)。 > [!note] 綴りの注意 > 原文は「Cuda と BTBB(Intel)」と綴る(Intel は TBB のことと思われる)。Luxtera は "Luxterra"、2015 は "2105" と誤記される箇所がある。原文に従う。 ## 傾向と未解決課題 - 電力の壁: ロジックはクロックの頭打ちと電力密度、主記憶は周辺回路とオーバーフェッチが支配する。どの単独技術も 1 EB/s や 20 MW の枠に収まらない。 - 帯域の壁: 銅配線が残り、光にはパケットルーティングが無い。ストレージは回転数が横ばいで、チェックポイント時間を律速する。 - 耐障害性の壁: ソケット数の指数的増加で MTTI は数十分まで下がる。「ストレージの新技術が無ければ、ソケット・システムの MTTI を下げねばならない」と原文は述べる (p.150)。 未解決の問い(章が閉じなかったもの)。 - 低電圧ロジックが要る約 100 倍の並列度・面積コストを、アーキテクチャがどう吸収するか (p.96, 91)。 - DRAM の周辺回路まで含む電圧スケーリング(0.5V 動作)と、I/O パイプライン削減・幅広 I/O・配列分割の研究 (p.115, 117, 120)。 - 3D 積層 DRAM の高歩留まりで経済的な加工(薄化とリフレッシュの両立) (p.115)。 - 光インタコネクトの単一モード導波路の大規模位置合わせ(sub-µm)と、パケットルーティングの欠如 (p.135–137)。 - チェックポイント時間を律速するストレージ問題を解く新技術 (p.150)。 ## 関連 - ハブ: [[ExaScale Computing Study - Technology Challenges in Achieving Exascale Systems]] - エンティティ: [[ITRS]] / [[RSFQ]] / [[IBM Blue Gene／L]] / [[DARPA]] / [[Peter Kogge]] - 前後の章: 帯域要求とストローマンは [[@2008__DARPA__ExaScale Computing Study - Chapter 7 Strawmen - Where Evolution Is and Is Not Enough]]、応用の特性は [[@2008__DARPA__ExaScale Computing Study - Chapter 5 Exascale Application Characteristics]]。