# ハードディスク信頼性 Navigation: [[index]] | [[データセンター信頼性]] | [[障害予測]] ## 定義 ハードディスク信頼性(HDD 信頼性)は、コンシューマーグレードおよびサーバーグレードの磁気ディスクドライブが本番環境において障害を起こさず動作し続ける性質である。通常は年間障害率(AFR: Annualized Failure Rate)で定量化され、ドライブの使用年数・温度・使用率・製造メーカー・モデル世代によって変動する。Pinheiro et al. (FAST 2007) [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] は Google 本番環境の 10 万台超を対象とした大規模実証研究で、従来の通念(高温・高使用率が障害を大幅に増やす)を反証し、SMART 自己監視信号の予測限界を初めて定量的に示した。 ## AFR と障害パターン - **バスタブ曲線的傾向**: Pinheiro et al. 2007 の Google データでは、AFR は使用 1 年目(1.7%)に最低、3 年目でピーク(約 8.6%)、4 年目に低下(約 6%)、5 年目に再上昇(約 7.3%)。初期 3 か月(約 2.8%)から 1 年目(1.7%)にかけての低下は乳幼児死亡率(infant mortality)現象の存在を示唆する。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **メーカー・モデル・世代の影響**: 障害率はドライブモデル・メーカー・製造世代と高い相関を示す。年齢グループ間の比較にはモデルミックスの変化が混入するため、純粋な経年劣化効果の切り出しは難しい。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **エンドユーザー実測値はベンダー公称値より高い**: ベンダーの公称 AFR は 2% 未満が多いが、ユーザー調査では 6% 程度、本 Google 研究では 1.7〜8.6% のレンジ。Elerath & Shah はユーザー体感の障害率がベンダー期待値の最大 10 倍になる場合があると報告している。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## 温度との関係 - **中温域では温度と障害率の相関は弱い**: Pinheiro et al. 2007 では平均温度 25〜45°C の範囲で AFR はほぼ横ばい(約 2〜3%)。逆に 15〜20°C の低温域で AFR が最高(約 8〜10%)という逆説的傾向が見られた。50°C 超ではわずかな上昇。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **高温の影響は 3〜4 年目の古いドライブに集中**: 若いドライブでは高温ほど AFR が高くなる傾向は顕著でなく、3〜4 年目のドライブで温度と AFR の正の相関が比較的明確に現れる。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - 一方、Schroeder & Gibson (FAST 2007) [17] は同一会議で大規模 SATA ドライブ集団のデータを発表しており、相互検証が必要。 ## 使用率との関係 - **使用率と障害率の相関は従来より弱い**: Pinheiro et al. 2007 では使用率(週次読み書きバンド幅)3 段階分類で、1〜4 年の区間では高使用率グループが低使用率を一貫して上回る傾向は現れなかった。3 年目では低使用率グループの AFR がわずかに高い逆転さえ観察された。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - 乳幼児期(最初の 3〜6 か月)と非常に古いドライブでは高使用率の影響がより顕著であり、使用率関連の障害モードが初期に集中している可能性がある(生存者バイアス仮説)。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## SMART 信号と障害の関係 SMART(Self-Monitoring, Analysis and Reporting Technology)は HDD の自己監視機能で、各種エラーカウンタを外部から読み出せる標準インターフェース。 **強い予測力を持つパラメータ(クリティカル閾値 = 1)**: | パラメータ | 非ゼロ比率 | 最初のイベント後 60 日内障害確率の増倍率 | |---|---|---| | スキャンエラー | < 2% | 39 倍 | | オフライン再割り当て | 約 4% | 21 倍 | | プロベーションカウント | 約 2% | 16 倍 | | 再割り当てカウント | 約 9% | 14 倍 | 一方、シーク(seek)エラー・CRC エラー・電源サイクル・キャリブレーションリトライは相関が弱いか、特定メーカーや使用状況依存。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## SMART の予測限界 強い SMART シグナルにもかかわらず、SMART 単体での個別障害予測には根本的な限界がある: - 4 つの強シグナル(スキャンエラー・再割り当てカウント・オフライン再割り当て・プロベーションカウント)のいずれにも非ゼロ値を持たない障害ドライブが **56% 超** - 全 SMART パラメータを足しても、いかなるエラーシグナルも持たない障害ドライブが **36% 超** - 温度基準(40°C 超の時間が 50% 超)を追加してもなお 36% 程度の障害ドライブは無シグナル Pinheiro et al. はこの結果から「SMART は大規模集団の信頼性傾向把握と在庫・サプライチェーン計画に有用だが、個別ドライブの障害予測モデルとしては根本的に不十分」と結論付けた。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## 横断的知見 - **温度の影響についての 2007 年時点の「反証」は後続研究で部分的に再解釈された**: Pinheiro et al. 2007 は中温域での温度効果が弱いことを示したが、[[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]] はより細かい温度・時刻・空間データを使って「高温が特定条件下でリスクを高める」ことを再確認している。2 つの結論は矛盾しているわけではなく、「平均温度への単純な帰結は成立しない」という点で一致し、条件次第で効果の向きが変わる複雑な関係を示唆する。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]]) - **SMART の「個別予測の限界」と「集団傾向の有用性」という使い分けは 2007 年の Pinheiro et al. が最初に定量化した**: 後続の機械学習ベース HDD 予測研究(Hughes et al. 2002・Hamerly & Elkan 2001 など)は SMART 特徴量を使って recall 0.94+ を達成したが、それは「エラーシグナルが出た後」のドライブに限定した予測であり、シグナルが現れない 56% 超の障害ドライブを取りこぼし続けるという根本制約は解消されていない。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **SMART 以外の信号(パフォーマンス異常・OS イベント・ワークロードパターン)との組み合わせが個別予測の精度向上に必要という仮説**: Pinheiro et al. 2007 はこれを今後の課題として明示した。後続の AIOps 障害予測研究の文脈では、「symptom monitoring 系の特徴選択」として現代でも未解決の問いとして残る。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods]]) ## 未解決の問い - SMART シグナルが現れない 56% 超の HDD 障害を検知するために、どのような追加シグナル(パフォーマンス計測・OS ログ・ファームウェアイベント)が有効か。 - 2007 年当時のコンシューマー ATA HDD の障害傾向は、現代の NVMe SSD・エンタープライズ SAS ドライブと比較してどう変わっているか。フラッシュ媒体では SMART の予測力が上がるか下がるか。 - 低温(15〜20°C)での高 AFR は「低温そのものの影響」か「低温環境のドライブが持つ別の特性(低稼働率・特定デプロイ場所など)の交絡」か。 - SMART の 4 つの強シグナルは、特定のメーカー/モデルに偏って出現するのか(再割り当てカウントは 9% 非ゼロだがモデル依存の記述も本文にある)、汎用的に利用可能か。 - ベンダー公称 AFR とエンドユーザー実測 AFR の乖離(最大 10 倍という報告)は、テスト条件・使用条件・定義の違い以外の何によって説明できるか。 ## 関連 - ソース: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] - 概念: [[データセンター信頼性]] / [[障害予測]] / [[プロアクティブ障害管理]] - エンティティ: [[Eduardo Pinheiro]] / [[Wolf-Dietrich Weber]] / [[Luiz André Barroso]] / [[Google]] - 関連 MOC: [[SRE - MOC]] / [[AIOps - Failure Detection - MOC]] ## 出典 - [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] (全体)