> [!abstract] 概要(abstract 日本語訳) > 世界で新たに生成された全情報の 90% 以上が磁気媒体、その大部分はハードディスクドライブ(HDD)に保存されると推定されている。その重要性にもかかわらず、ディスクドライブの障害パターンや寿命に影響を与える主要因子については、公開されている研究が相対的に少ない。利用可能なデータの多くは、加速寿命試験からの外挿または比較的小規模なフィールド研究に基づいている。さらに、大規模な母集団研究では、詳細な障害分析に不可欠な運用中のヘルスシグナルを収集するインフラが整っていないことが多い。 > 本論文では、本番のインターネットサービスデプロイメントにおける大規模なディスクドライブ母集団を詳細に観測して収集したデータを提示する。観測した母集団は従来研究の何倍もの規模である。障害統計の提示に加え、寿命に影響すると一般に信じられているいくつかのパラメータと障害との相関を分析する。 > 分析の結果、ドライブの自己監視機能(SMART)のいくつかのパラメータが障害と高い相関を示すことを特定した。この高い相関にもかかわらず、SMART パラメータのみに基づくモデルは個別のドライブ障害予測には有用ではない可能性が高いと結論付ける。驚くべきことに、温度と使用率レベルはドライブ障害と従来報告よりもはるかに弱い相関しか示さなかった。 ## 論文情報 - **タイトル**: Failure Trends in a Large Disk Drive Population - **著者**: [[Eduardo Pinheiro]] / [[Wolf-Dietrich Weber]] / [[Luiz André Barroso]] - **所属**: Google Inc., Mountain View, CA - **掲載誌**: Proceedings of the 5th USENIX Conference on File and Storage Technologies (FAST'07), pp. 17–29 - **発表年**: 2007 年 2 月 - **URL**: https://research.google/pubs/failure-trends-in-a-large-disk-drive-population/ ## 概要 Google の本番環境に展開された 10 万台超のコンシューマーグレード HDD を対象に、障害パターン・SMART シグナル・温度・使用率の相関を大規模分析した研究である。観測ウィンドウは 9 か月(2005 年 12 月〜2006 年 8 月)で、AFR の長期傾向は約 5 年分の修理データベースから補完した。従来の通念(高温・高使用率が障害を増やす)を反証し、SMART の予測限界を初めて定量的に示した点で後続研究の基礎文献となっている。 ## 問題設定 - **入力**: 各サーバーからのヘルスシグナル(SMART パラメータ・温度・使用率・修理イベント)を数分おきに収集 - **出力**: 障害率(AFR)と各パラメータの相関分析、クリティカル閾値の特定 - **前提条件**: 本番環境のラックマウントサーバー、常時通電・スピンアップ状態、バーンイン済みドライブのみ - **障害の定義**: 修理手順の一環として交換されたドライブ(アップグレード目的の交換を除く) ## データ収集インフラ **Figure 1: データ収集・保存・分析アーキテクチャ** ![[_attachments/4445/fig01-data-collection-architecture.png]] (Figure 1. Collection → Storage → Analysis の 3 層構成。各サーバーのデーモンが数分ごとにヘルスデータを収集し、コレクタ経由で Bigtable に格納。MapReduce/Sawzall ジョブで前処理後 R で統計分析・グラフ生成。Source: Adapted from [Pinheiro et al. 2007, Figure 1].) System Health インフラは、Google 全サーバーから数百の属性値ペアを収集・格納し、任意の分析ジョブにインターフェースを提供する大規模分散ソフトウェアシステムである。ストレージは [[Bigtable]]([[Google File System|GFS]] 上に構築)を使用し、変数(列)× マシン(行)× 時刻(第 3 次元)の 3 次元テーブルとして完全な時系列履歴を保持する。大規模分析は [[MapReduce]] と Sawzall 言語で記述し、R で統計分析とグラフ生成を行う。 ## 提案手法(分析設計) - 使用率指標: 週次の読み書きバンド幅の平均。ドライブモデル別に低(25 パーセンタイル以下)・中(50〜75)・高(75 超)の 3 段階に分類 - SMART 分析: AFR の年齢グループ別比較 + 最初のエラーイベント後の生存確率(Kaplan-Meier 推定量的) + クリティカル閾値(60 日以内の障害確率が無エラーグループの 10 倍以上になる閾値) - 統計的有意性: 全結果を統計的有意性検定でスクリーニング ## 実験設定 - **観測環境**: Google データセンター群のラックマウントサーバー - **ドライブ台数**: 全結果に 10 万台超使用 - **ドライブ種別**: シリアル/パラレル ATA コンシューマーグレード、5400〜7200 rpm、80〜400 GB、2001 年以降製造の複数メーカー・最低 9 モデル - **観測期間**: 2005 年 12 月〜2006 年 8 月(9 か月) - **長期データ**: 障害情報は約 5 年分の旧修理データベースから補完 - **データフィルタリング**: 負値カウント・明らかに不正な値(太陽表面温度超の報告温度、負の電源サイクル等)を除去。フィルタリングによるサンプル削減は 0.1% 未満 ## 実験結果 ### ベースライン AFR **Figure 2: 使用年数グループ別の年間障害率(AFR)** ![[_attachments/4445/fig02-afr-by-age.png]] (Figure 2. 横軸: ドライブ使用年数グループ(3か月〜5年)、縦軸: AFR(%)。AFR は 1 年目(1.7%)に最低となり 3 年目でピーク(約 8.6%)、4 年目に低下(約 6%)、5 年目に再上昇(約 7.3%)。3 か月では約 2.8% で初期の乳幼児死亡率的高 AFR が見られる。Source: Adapted from [Pinheiro et al. 2007, Figure 2].) 観測 AFR は 1.7%(使用 1 年目)〜8.6%(3 年目)で変動する。ただし年齢グループをまたいで比較した場合、ドライブモデルの違いが混入するため純粋な経年劣化の効果は切り出しにくい(3 か月・6 か月・1 年目のグループは比較的安定したモデル混成だが、それ以降はモデル世代交代の影響が大きい)。初期 3 か月〜1 年の AFR 推移(3 か月 2.8% → 1 年 1.7%)は乳幼児死亡率現象の存在を示唆する。 ### 使用率との相関 使用率と障害率の相関は従来報告より著しく弱かった。高使用率が障害率を高める効果は非常に若いドライブと非常に古いドライブでのみ顕著で、1〜4 年の区間では高使用率グループが低使用率グループを上回る傾向は一貫して現れなかった。3 年目ではむしろ低使用率グループの方が高い AFR を示す逆転さえ観察された。仮説として、使用率関連の障害モードは乳幼児期に集中しており、生き残ったドライブは後天的にそのモードへの耐性が高い集団(生存者バイアス)である可能性がある。 ### 温度との相関 **Figure 3: 平均温度の分布と障害率** ![[_attachments/4445/fig03-temperature-vs-afr.png]] (Figure 3. 棒グラフ(左軸): 各平均温度(1°C 刻み)のドライブ数分布。点(右軸): AFR(%)。平均 15〜20°C の低温域で AFR が最高(約 8〜10%)となり、25〜45°C の中温域では AFR はほぼ横ばい(約 2〜3%)。50°C 超でわずかに上昇するが、全体的に「低温 = 高 AFR」という逆説的傾向が見られる。Source: Adapted from [Pinheiro et al. 2007, Figure 4].) 温度が高いほど障害が増えるという従来の通念に反し、中温域(約 25〜45°C)での AFR は低く、15〜20°C の低温域でむしろ高い AFR が観察された。50°C 超では若干の上昇が見られる。年齢グループ別に見ると、3〜4 年目のドライブでは高温ほど AFR が一定して高い傾向が現れるが、若いドライブではその傾向は顕著ではない。論文はデータセンター設計者がディスク冷却温度の設定に従来考えられていたよりも大きな自由度を持つ可能性を示唆している。 ### SMART パラメータ分析 **Figure 4: スキャンエラー有無別 AFR(年齢グループ別)** ![[_attachments/4445/fig04-smart-scan-error-afr.png]] (Figure 4. 縦軸 AFR(%)、横軸: 年齢グループ。暗色バー: スキャンエラーなし、明色バー: 1 件以上のスキャンエラーあり。スキャンエラーありグループは全年齢グループで「エラーなし」グループの約 10 倍の AFR。AFR 差は 6か月で最大(エラーあり約 32% vs なし約 1.2%)。Source: Adapted from [Pinheiro et al. 2007, Figure 6].) 4 つの主要 SMART パラメータと障害の相関: | SMART パラメータ | 母集団中の非ゼロ比率 | 最初のイベント後 60 日以内の障害確率増倍率(クリティカル閾値=1) | |---|---|---| | スキャンエラー(Scan Errors) | < 2% | **39 倍** | | オフライン再割り当て(Offline Reallocation) | 約 4% | **21 倍** | | プロベーションカウント(Probational Count) | 約 2% | **16 倍** | | 再割り当てカウント(Reallocation Count) | 約 9% | **14 倍** | 生存確率曲線から見えるパターン: - スキャンエラー発生後 8 か月で約 70% のドライブが生存 - 若いドライブではスキャンエラー直後の急激な生存確率低下が顕著で、その後は横ばいになる傾向。古いドライブでは緩やかだが継続的な低下 - 再割り当てカウントの効果はスキャンエラーより緩やかで、8 か月後の生存率は約 85% ### SMART の予測限界 **Figure 5: 障害ドライブにおける SMART エラーの出現率** ![[_attachments/4445/fig05-smart-error-prevalence.png]] (Figure 5. 横軸: SMART パラメータ種別、縦軸: 障害ドライブのうち各パラメータに非ゼロ値を持つ割合(%)。Reallocation Count が最多(約 40%)。Any Error(いずれかの SMART エラーあり)は約 64%。逆に見ると、障害ドライブの約 36% はいかなる SMART シグナルも持たない。Source: Adapted from [Pinheiro et al. 2007, Figure 14].) 4 つの強シグナル(スキャンエラー・再割り当てカウント・オフライン再割り当て・プロベーションカウント)のいずれかに非ゼロ値を持つ障害ドライブは **44% 未満**(=56% 超がシグナルなし)。全 SMART パラメータ(スキャンエラー・再割り当てカウント・オフライン再割り当て・プロベーションカウント・シーク(seek)エラー・CRC エラー・キャリブレーションリトライ)を足しても、非ゼロ値を持つ障害ドライブは約 64%、つまり **36% 超の障害ドライブは全 SMART シグナルが完全にゼロ**。温度を追加してもなお 36% 程度の障害ドライブは無シグナルのまま。この限界から、SMART ベースモデルは大規模集団の信頼性傾向の把握には有用だが、個別ドライブの障害予測には根本的に不十分という結論を導く。 ### その他の SMART パラメータ - **シーク(seek)エラー**: 特定メーカー 1 社のドライブにのみ広く分布し、他メーカーでは障害との相関なし - **CRC エラー**: 障害との相関はやや弱め。むしろケーブル・コネクタの問題を反映する傾向 - **電源サイクル**: 2 年未満では相関なし。3 年以上では AFR を 2% 超押し上げるが、これは修理を繰り返す問題のある筐体での電源サイクル増加という逆因果の可能性がある - **スピンリトライ**: 観測母集団全体でカウントゼロ - **キャリブレーションリトライ**: 0.3% 未満の発生率で有用なシグナルではない ## 強み / 弱点・課題 **強み** - 従来の加速寿命試験に依拠しない実環境 10 万台超の実証データ - ベンダー修理データベース並みの規模 + エンドユーザーとしてのデプロイ可視性を両立した初の研究 - SMART パラメータが修理診断手順に使われていなかったため、SMART と修理判断の間に擬似相関がない - 統計的有意性検定で全結果をスクリーニング **弱点・課題** - ドライブモデル別データを機密情報として非公開。モデルミックスの変化が年齢グループ比較を複雑にする - 振動の影響を直接計測できず、間接的推定も十分に制御された実験にならなかった - SMART 以外の特徴量(パフォーマンス異常・OS シグナル等)との組み合わせによる予測精度向上の可能性は未探索(今後の課題として言及) - 観測ウィンドウ 9 か月と一部パラメータの信頼区間が広い ## 考察 温度・使用率の効果が弱いことは当初「驚くべき結果」として提示されている。論文は加速寿命試験が主に乳幼児期の障害モードをモデル化しており、長期的な本番環境での挙動を過大推定した可能性があると解釈する。また、プロフェッショナルに管理されたデータセンター環境では、温度管理が既に適切な範囲に収まっているため、温度の影響が際立たない可能性もある。 SMART の予測限界については、個別予測ではなく集団レベルの在庫・サプライチェーン計画への活用が現実的な利用法として示唆されている。