# ハードディスク信頼性 Navigation: [[index]] | [[データセンター信頼性]] | [[障害予測]] ## 定義 ハードディスク信頼性(HDD 信頼性)は、コンシューマーグレードおよびサーバーグレードの磁気ディスクドライブが本番環境において障害を起こさず動作し続ける性質である。通常は年間障害率(AFR: Annualized Failure Rate)で定量化され、ドライブの使用年数・温度・使用率・製造メーカー・モデル世代によって変動する。Pinheiro et al. (FAST 2007) [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] は Google 本番環境の 10 万台超を対象とした大規模実証研究で、従来の通念(高温・高使用率が障害を大幅に増やす)を反証し、SMART 自己監視信号の予測限界を初めて定量的に示した。 ## AFR と障害パターン - **バスタブ曲線的傾向**: Pinheiro et al. 2007 の Google データでは、AFR は使用 1 年目(1.7%)に最低、3 年目でピーク(約 8.6%)、4 年目に低下(約 6%)、5 年目に再上昇(約 7.3%)。初期 3 か月(約 2.8%)から 1 年目(1.7%)にかけての低下は乳幼児死亡率(infant mortality)現象の存在を示唆する。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **メーカー・モデル・世代の影響**: 障害率はドライブモデル・メーカー・製造世代と高い相関を示す。年齢グループ間の比較にはモデルミックスの変化が混入するため、純粋な経年劣化効果の切り出しは難しい。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **エンドユーザー実測値はベンダー公称値より高い**: ベンダーの公称 AFR は 2% 未満が多いが、ユーザー調査では 6% 程度、本 Google 研究では 1.7〜8.6% のレンジ。Elerath & Shah はユーザー体感の障害率がベンダー期待値の最大 10 倍になる場合があると報告している。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## 温度との関係 - **中温域では温度と障害率の相関は弱い**: Pinheiro et al. 2007 では平均温度 25〜45°C の範囲で AFR はほぼ横ばい(約 2〜3%)。逆に 15〜20°C の低温域で AFR が最高(約 8〜10%)という逆説的傾向が見られた。50°C 超ではわずかな上昇。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **高温の影響は 3〜4 年目の古いドライブに集中**: 若いドライブでは高温ほど AFR が高くなる傾向は顕著でなく、3〜4 年目のドライブで温度と AFR の正の相関が比較的明確に現れる。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - 一方、Schroeder & Gibson (FAST 2007) [17] は同一会議で大規模 SATA ドライブ集団のデータを発表しており、相互検証が必要。 ## 使用率との関係 - **使用率と障害率の相関は従来より弱い**: Pinheiro et al. 2007 では使用率(週次読み書きバンド幅)3 段階分類で、1〜4 年の区間では高使用率グループが低使用率を一貫して上回る傾向は現れなかった。3 年目では低使用率グループの AFR がわずかに高い逆転さえ観察された。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - 乳幼児期(最初の 3〜6 か月)と非常に古いドライブでは高使用率の影響がより顕著であり、使用率関連の障害モードが初期に集中している可能性がある(生存者バイアス仮説)。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## SMART 信号と障害の関係 SMART(Self-Monitoring, Analysis and Reporting Technology)は HDD の自己監視機能で、各種エラーカウンタを外部から読み出せる標準インターフェース。 **強い予測力を持つパラメータ(クリティカル閾値 = 1)**: | パラメータ | 非ゼロ比率 | 最初のイベント後 60 日内障害確率の増倍率 | |---|---|---| | スキャンエラー | < 2% | 39 倍 | | オフライン再割り当て | 約 4% | 21 倍 | | プロベーションカウント | 約 2% | 16 倍 | | 再割り当てカウント | 約 9% | 14 倍 | 一方、シーク(seek)エラー・CRC エラー・電源サイクル・キャリブレーションリトライは相関が弱いか、特定メーカーや使用状況依存。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## SMART の予測限界 強い SMART シグナルにもかかわらず、SMART 単体での個別障害予測には根本的な限界がある: - 4 つの強シグナル(スキャンエラー・再割り当てカウント・オフライン再割り当て・プロベーションカウント)のいずれにも非ゼロ値を持たない障害ドライブが **56% 超** - 全 SMART パラメータを足しても、いかなるエラーシグナルも持たない障害ドライブが **36% 超** - 温度基準(40°C 超の時間が 50% 超)を追加してもなお 36% 程度の障害ドライブは無シグナル Pinheiro et al. はこの結果から「SMART は大規模集団の信頼性傾向把握と在庫・サプライチェーン計画に有用だが、個別ドライブの障害予測モデルとしては根本的に不十分」と結論付けた。([[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) ## 機械的要因による性能劣化・障害モード 『詳解 システム・パフォーマンス 第2版』9章は、SMARTのような統計的信頼性データとは異なる、機械的・アーキテクチャ的な観点からのハードディスク信頼性・異常挙動を扱う。 - **Sloth Disk(遅いディスク)**: 一部の磁気ディスクに見られる問題で、特にエラーを報告することなく1秒以上かかる極端に遅いI/Oを返す。ECCによる再試行よりもずっと長い時間がかかり、エラーを返す方がまだよいとされる。ストレージアレイの仮想ディスクの一部に含まれている場合など、OSから直接観察できないため見つけにくく悩ましい問題になる。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.10) - **振動によるパフォーマンス障害**: ディスクドライブメーカーは振動問題を認識していたが、産業界全体では十分理解されていなかった。著者は2008年、不可解なパフォーマンス障害調査の過程で書き込みベンチマーク実行中にディスクアレイに向かって大声を出す実験を行い、非常に遅いI/Oのバーストを観測した。この実験の動画は170万ビュー超を記録し、振動がディスクパフォーマンスに影響することを示した最初のデモとされる。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.9) - **SMR(Shingled Magnetic Recording)ドライブ**: トラック間距離を狭めて高密度(約25%向上)を実現するが、書き込みヘッドが狭すぎるトラックに書き込むために一部を重ね書きし、重なり部分のデータ破壊・書き直しが必要になるため書き込みパフォーマンスが低下する。1度書き込んだらもっぱら読み出しに使うアーカイブ的ワークロードには適するが、RAID構成の書き込みが激しいワークロードには適さない。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.11) - **セクターのECCとデータ完全性**: ディスクは各セクター末尾にECC(誤り訂正符号)を付加し、読み出し失敗時は磁気ヘッドが次の回転で再試行する(ヘッド位置を毎回変えながら数回試行)。ドライブはこのソフトエラーをOSに報告でき、その頻度上昇はドライブがまもなく故障する兆候になりうる。セクターサイズを512バイトから4KBへ拡大したことで、同じデータ量に必要なECCビット数が削減された。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.8) - **フラッシュメモリ(SSD)の寿命限界**: SSDは可動部品がなく振動の影響を受けないが、NAND型フラッシュメモリ特有の劣化(バーンアウト・データ減衰・読み出し妨害)がある。SSDコントローラは疲弊平準化(wear leveling)とメモリのオーバープロビジョニングでこれを緩和するが、ブロックあたりの書き換え可能回数には上限がある(業務用SLC+オーバープロビジョニングで100万回以上、MLC民生用ドライブでは1,000回程度)。経年劣化によるレイテンシ外れ値・FTLブロックマップのフラグメンテーションによるレイテンシ上昇も異常挙動として観測される。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.2.3〜§9.4.1.2.4) ## PCSD(2009)の磁気ディスク障害モデル——raw から durable への段階的な抽象の積み上げ Saltzer & Kaashoek『Principles of Computer System Design』第8章 §8.5.4 は、本ページが集約する実証的な障害率データ(AFR・SMART信号)とは異なる、磁気ディスクの耐障害性を**設計上どう作り込むか**という構築(constructive)側のモデルを示す。ディスクシステムは伝統的に4層に分けて設計される。 - **raw storage 層**: 生のディスクそのもの。track単位のSEEK/PUT/GET操作しか持たず、ソフトエラー(ダストや一時的なノイズによる読み書き誤り)・ハードエラー(表面の欠陥・decay)・シークエラー・電源断による部分書き込み・OSクラッシュによるバッファ破損のいずれもが**未許容の誤り(untolerated error)**として扱われる。 - **fail-fast storage 層**: ディスクコントローラの電子回路・マイクロコードが、トラックをセクタへ分割し、セクタごとに誤り検知符号とセクタ/トラック番号を付加する。`FAIL_FAST_GET`/`FAIL_FAST_PUT` は成功/失敗(status = OK/BAD)を報告するが、マスクはしない。 - **careful storage 層**: 通常ディスクコントローラのファームウェアに実装される層で、`status = BAD` が返る限り既定回数まで再試行(retry)することで、ソフトエラー(ダスト・一時的ノイズ起因)を**マスク**する。再試行の上限を超えたら「ハードエラー」と判定して報告する。この層は多くの実装で「revectoring(再割り当て)」も行う——`CAREFUL_PUT`がハードエラーを検知したら、ディスク上の予備セクタにデータを書き、内部マッピング表にエントリを追加する。 - **durable storage 層**: 複数の物理ディスク(ミラー)に複製を書くことで、careful storage層が検知はするがマスクしないハードエラー(decay)をマスクする層。RAID 1がこの層の代表的な実装である。さらに周期的に全レプリカを読んでdecayを検知する「クラーク(clerk)」を追加した more durable storage 層(§8.5.4.7)により、複数レプリカが期間 T_d 内に同時にdecayする確率を無視できる水準まで下げられる。 各層はそれぞれ固有の未許容の誤りを残す。特に、OSクラッシュによるディスクバッファ破損(fail-fast層のチェックサムでは検出できない、正しいデータをディスクへ書く前に破損してしまうケース)は durable storage 層まで一貫して未許容のまま残り、これを検知するには end-to-end チェックサムが必要になる(§8.5.4.8)。表8.1はこの障害伝播モデルを層ごとに要約する。(Source: [[@2009__MITOCW__Principles of Computer System Design - Chapter 8 Fault Tolerance - Reliable Systems from Unreliable Components]] §8.5.4-§8.5.4.8) ## 横断的知見 - **SMARTによる統計的予測とディスクアーキテクチャに起因する個別障害モードは相補的である**: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]]はSMART信号(スキャンエラー・再割り当てカウント等)による集団レベルの障害傾向把握の有用性と個別予測の限界(56%超の障害ドライブが強シグナル無しで故障)を示す。一方[[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]]が挙げるSloth Disk(エラーを報告せず極端に遅くなる)は、まさにPinheiro et al. の「シグナル無し障害」に該当しうる具体的な障害モードの一例と考えられ、両ソースを合わせると「SMARTが検知する障害」と「SMARTが検知できないが実運用で観測される機械的異常(Sloth Disk・振動起因の劣化)」という2つの層が浮かび上がる。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.10) - **温度の影響についての 2007 年時点の「反証」は後続研究で部分的に再解釈された**: Pinheiro et al. 2007 は中温域での温度効果が弱いことを示したが、[[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]] はより細かい温度・時刻・空間データを使って「高温が特定条件下でリスクを高める」ことを再確認している。2 つの結論は矛盾しているわけではなく、「平均温度への単純な帰結は成立しない」という点で一致し、条件次第で効果の向きが変わる複雑な関係を示唆する。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]]) - **SMART の「個別予測の限界」と「集団傾向の有用性」という使い分けは 2007 年の Pinheiro et al. が最初に定量化した**: 後続の機械学習ベース HDD 予測研究(Hughes et al. 2002・Hamerly & Elkan 2001 など)は SMART 特徴量を使って recall 0.94+ を達成したが、それは「エラーシグナルが出た後」のドライブに限定した予測であり、シグナルが現れない 56% 超の障害ドライブを取りこぼし続けるという根本制約は解消されていない。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]]) - **SMART 以外の信号(パフォーマンス異常・OS イベント・ワークロードパターン)との組み合わせが個別予測の精度向上に必要という仮説**: Pinheiro et al. 2007 はこれを今後の課題として明示した。後続の AIOps 障害予測研究の文脈では、「symptom monitoring 系の特徴選択」として現代でも未解決の問いとして残る。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[A Survey of Online Failure Prediction Methods]]) - **実務での耐久性モデリングは、Pinheiro et al. の実測 AFR を「入力パラメータ」として、マルコフモデルという別レイヤーの数理に接続する**: [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] は、AFR 3%(MTTF 287,795時間)・MTTR 24時間・3-way レプリケーション(n=3, m=2)を仮定したマルコフモデルから、レプリケーショングループの年間データ損失率 6.35×10⁻¹⁰(9 ナインズ)を導出する。これは Pinheiro et al. 2007 が実測した AFR 1.7〜8.6%というレンジの中央付近の値を採用したものであり、両ソースを合わせると「大規模実証研究がAFRという集団統計を提供し、耐久性エンジニアリングはそのAFRを故障率 λ の入力としてレプリケーション設計の定量評価(マルコフ連鎖)に使う」という2段階の関係が見える。ただし同章はこの推定値が「理論上の上限値」に過ぎず、SMART シグナルが現れない56%超の障害ドライブ(Pinheiro et al. の知見)のような「モデルが想定しない故障モード」によって現実の耐久性はモデルの予測を下回りうると警告しており、Pinheiro et al. の「集団傾向は有用だが個別予測には限界がある」という結論と整合する。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] §17.1.2.1) - **RAID アレイの手作業リプレースと分散ストレージの自動再レプリケーションの対比は、MTTR という同じ変数を介してPinheiro et al. の障害統計と耐久性モデルを結びつける**: [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] は、運用者が現場でディスクを交換するのに数日かかる RAID アレイと、自動再レプリケーションにより数時間でリカバリが完了する分散ストレージシステムを対比し、MTTR の短縮がデータ損失率(マルコフモデルの µ = 1/MTTR)を大きく左右すると説く。Pinheiro et al. のAFR実測はMTTF(=1/λ)側のインプットを与えるのに対し、この章はMTTR(=1/µ)側を自動化によってどこまで縮められるかという運用上のレバーを示しており、両者は耐久性モデルの2つの入力パラメータ(故障率と修復率)にそれぞれ実証的な裏付けを与える相補的なソースになっている。(Source: [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] §17.6.1) - **PCSD の「revectoring(再割り当て)」は、Pinheiro et al. が最強の予測シグナルとして特定した「オフライン再割り当て(offline reallocation)」SMARTパラメータの、設計側での正体を明示する**: 本ページの「SMART信号と障害の関係」節が挙げる強シグナル(オフライン再割り当て: 非ゼロ比率約4%、60日内障害確率の増倍率21倍)は、実測データとして「再割り当てが起きたドライブは危険」という統計的事実のみを述べる。PCSD §8.5.4.5 はこの「再割り当て」がディスクファームウェアのcareful storage層で実装される具体的なメカニズム——ハードエラーを検知したセクタを予備セクタへ書き直し、内部マッピング表を更新する処置——であることを示す。すなわち「再割り当てカウントが増える」という観測されたSMART信号は、ディスクが内部でdecayしたセクタを継続的に「治療」している痕跡であり、その治療の累積回数が将来の完全な故障を予告するという、PCSDの構築的モデルとPinheiro et al.の実証的モデルが同一の現象を設計側と観測側から捉えていることがわかる。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2009__MITOCW__Principles of Computer System Design - Chapter 8 Fault Tolerance - Reliable Systems from Unreliable Components]] §8.5.4.5) - **Sloth Disk(エラーを報告せず極端に遅くなる障害)は、PCSDのcareful storage層が定義する「既定回数までの再試行」という設計そのものから生じうる**: 本ページの「機械的要因による性能劣化・障害モード」節は、Sloth Diskを「特にエラーを報告することなく1秒以上かかる極端に遅いI/Oを返す」問題として、その原因のメカニズムには触れずに現象として記述する。PCSD §8.5.4.5のcareful storage層は、`FAIL_FAST_GET`がBADを返す限り`NTRIES`回まで再試行を続け、最終的に成功すれば`status = OK`を返すという設計(図8.12)を示す——この設計は、エラーは報告しないが再試行の累積によって応答が極端に遅くなるという挙動を、まさに仕様として作り込んでいる。Sloth Diskがなぜ「エラーを報告せず遅い」のかというメカニズムの一つの説明を、PCSDの構築的モデルは提供しうる(ただし本ページの既存の未解決の問いが指摘するとおり、Sloth Diskの原因がまさにこの再試行メカニズムかどうかを直接検証した記述はどちらのソースにもない)。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.10, [[@2009__MITOCW__Principles of Computer System Design - Chapter 8 Fault Tolerance - Reliable Systems from Unreliable Components]] §8.5.4.5) - **PCSDのセクタチェックサム(ECC)とPinheiro et al.のスキャンエラー・SMARTパラメータは同じ検知機構の異なる呼び名である**: 本ページ「機械的要因」節は『詳解 システム・パフォーマンス』のセクタECCの記述(読み出し失敗時に磁気ヘッドが次回転で再試行し、頻度上昇が故障の兆候になりうる)を挙げるが、これはPCSD §8.5.4.4のfail-fast層における誤り検知符号(セクタごとに付加され、`FAIL_FAST_GET`がstatus=BADを返す根拠になる)と同一の機構を指している。Pinheiro et al.の最強シグナルである「スキャンエラー」(非ゼロ比率2%未満、60日内障害確率39倍)は、このfail-fast層の誤り検知符号がハードエラーを検知した回数の集計値だと解釈できる。3つのソースを合わせると、「ECCによる検知」(設計側の機構)→「スキャンエラー・再割り当てカウント」(SMARTとして観測される集計値)→「60日内障害確率の増倍」(実証的な予測力)という一本の因果の鎖が浮かび上がる。(Source: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.8, [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2009__MITOCW__Principles of Computer System Design - Chapter 8 Fault Tolerance - Reliable Systems from Unreliable Components]] §8.5.4.4) - **教科書はPinheiro et al. 2007のAFRレンジをそのままWSC設計の運用前提として採用し、DRAM側の同種の実測(Schroeder et al. 2009)と並べて「コモディティ・非高信頼部品でよい」という設計方針の根拠にする**: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 6 Warehouse-Scale Computers to Exploit Request-Level and Data-Level Parallelism]]は、100,000台規模のWSCで年間2〜10%のディスク故障率(本ページ既出の[[@2007__FAST__Failure Trends in a Large Disk Drive Population]]を直接引用)を前提とすると1時間に1台のディスクが故障する計算になると述べ、この頻度ゆえに「WSCはさらに信頼性の低い安価な部品でも使えるかもしれない」という設計方針の根拠として扱う。これは本ページの既存知見が扱う「SMARTの個別予測限界と集団傾向の有用性」という測定論的な文脈とは異なり、実測AFRを「個別故障をどう予測するか」ではなく「どれだけの故障を前提に運用コストを設計するか」という運用経済の文脈で再利用する例である。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 6 Warehouse-Scale Computers to Exploit Request-Level and Data-Level Parallelism]] §6.1) - **SMART ベース HDD 予測手法の内訳(2010 年時点)は、単純な統計検定から分類器へと段階的に複雑化していた**: [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods - Chapter 5 Survey of Prediction Methods]] §5.2.3.1・§5.2.2.1・§5.2.2.2・§5.2.3.2 は、本ページが「後続の機械学習ベース HDD 予測研究」と一括りにしてきた Hughes et al. [2002]・Hamerly and Elkan [2001]・Murray et al. [2003] の手法の中身を具体的に記述する。Hughes et al. [2002] は fault-free ドライブの SMART 値を基準データセットとして保存し、稼働中の観測値を基準データと合わせてソートしランクの和を比較する rank sum 仮説検定(単純だが頑健)を用いた。Hamerly and Elkan [2001] は同じ SMART 値をビン分割した離散値として naive Bayes 分類器(NBEM: EM アルゴリズムで訓練した混合モデル)に投入し、rank sum 検定を上回ったと報告した。Murray et al. [2003] は同一研究グループの後続研究として SVM(5 連続サンプルを入力ベクトル化、マージン最大化で分類境界を学習)とクラスタリング(fault-free 領域をクラスタとして学習し、既知クラスタに属さない観測を故障予兆と判定)の双方を追加適用した。同じ入力データ(SMART 値)に対し、統計検定 → ベイズ分類 → SVM・クラスタリングという手法の複雑化が 1998〜2003 年の間に段階的に生じたことが、Salfner+ 2010 の記述から追跡できる。(Source: [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods - Chapter 5 Survey of Prediction Methods]] §5.2.2.1, §5.2.2.2, §5.2.3.1, §5.2.3.2) - **手法の複雑化にもかかわらず、いずれも「SMART 値が観測された時点」の分類・検定にとどまり、本ページが記録する「56% 超のシグナル無し障害」問題そのものには取り組んでいない**: Hughes et al. [2002]・Hamerly and Elkan [2001]・Murray et al. [2003] の3手法は、いずれも SMART 属性が異常値を示すこと自体を前提とした分類器・検定であり、Pinheiro et al. 2007 が指摘する「強い SMART シグナルを一切示さない障害ドライブ」への対処は扱っていない。手法の精度向上(rank sum → naive Bayes で改善)は「シグナルがある場合の識別精度」を高めるものであり、「シグナルが無い場合の見落とし」という根本制約とは別の軸の改善である。この区別は本ページの「SMART の予測限界」節が示す統計と、Salfner+ 2010 が紹介する分類器群の性能報告を単純に並べただけでは見えず、両ソースを突き合わせて初めて明確になる。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods - Chapter 5 Survey of Prediction Methods]] §5.2.2.1-§5.2.3.2) ## 未解決の問い - Hughes et al. [2002]・Hamerly and Elkan [2001]・Murray et al. [2003] はいずれも単一時点(または直近5サンプル)の SMART 値を入力とする点分類器・検定であり、時間的なシーケンスとしての SMART 推移(トレンド)を直接モデル化していない。Salfner+ 2010 §5.3.3 が紹介する HSMM のような時系列パターン認識モデルを SMART シーケンスに適用すれば、56% 超のシグナル無し障害の一部を捕捉できるか。 - SMART シグナルが現れない 56% 超の HDD 障害を検知するために、どのような追加シグナル(パフォーマンス計測・OS ログ・ファームウェアイベント)が有効か。 - 2007 年当時のコンシューマー ATA HDD の障害傾向は、現代の NVMe SSD・エンタープライズ SAS ドライブと比較してどう変わっているか。フラッシュ媒体では SMART の予測力が上がるか下がるか。 - 低温(15〜20°C)での高 AFR は「低温そのものの影響」か「低温環境のドライブが持つ別の特性(低稼働率・特定デプロイ場所など)の交絡」か。 - SMART の 4 つの強シグナルは、特定のメーカー/モデルに偏って出現するのか(再割り当てカウントは 9% 非ゼロだがモデル依存の記述も本文にある)、汎用的に利用可能か。 - ベンダー公称 AFR とエンドユーザー実測 AFR の乖離(最大 10 倍という報告)は、テスト条件・使用条件・定義の違い以外の何によって説明できるか。 - Sloth Diskはエラーを報告しないため統計的なAFR算出やSMARTベースの予測モデルに現れにくいと考えられるが、Pinheiro et al. のような大規模実証研究のデータセットにSloth Disk的な障害がどの程度混入しているかは、[[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]]・[[@2007__FAST__Failure Trends in a Large Disk Drive Population]]のいずれにも記述がなく未解決である。 - SSDの疲弊平準化・オーバープロビジョニングは書き換え可能回数の限界を緩和するが、Pinheiro et al. のHDD向けAFR分析(バスタブ曲線・SMARTシグナル)に相当する大規模実証データはフラッシュメディアについて本 wiki 内でまだ扱われていない。 - PCSDのcareful storage層の再試行が実際にSloth Diskの原因になっているかは、いずれのソースでも直接検証されていない。ディスクファームウェアの再試行ログとSloth Disk発生時刻の突き合わせなど、両ソースの主張を実証的に接続する追加データが必要である。 - PCSDが示す「OSクラッシュによるディスクバッファ破損」(durable storage層まで一貫して未許容のまま残る誤り)は、Pinheiro et al.のSMARTベースの分析ではどう現れるか。SMARTはディスク側の障害を検知する仕組みであるため、ディスクは正常でもOS側が破損データを書き込んだケースをそもそも検知対象にできない可能性があり、両ソースの「56%超のシグナル無し障害」の一部がこれに該当するかは未検証である。 ## 関連 - ソース: [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 6 Warehouse-Scale Computers to Exploit Request-Level and Data-Level Parallelism]] — AFRレンジをWSC運用設計(コモディティ部品選定)の前提として再利用(§6.1) - ソース: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] - ソース: [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] — Sloth Disk・振動・SMR・ECC・SSD寿命限界という機械的信頼性トピック(§9.4.1)。 - ソース: [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] — AFR・MTTF・MTTRを耐久性のマルコフモデルの入力パラメータとして使う実務的な接続(§17.1.2.1, §17.6.1)。 - ソース: [[@2009__MITOCW__Principles of Computer System Design - Chapter 8 Fault Tolerance - Reliable Systems from Unreliable Components]] — raw/fail-fast/careful/durableという磁気ディスク障害耐性の4層構築モデル(§8.5.4-§8.5.4.8)。 - ソース: [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods - Chapter 5 Survey of Prediction Methods]] — SMART 値を入力とする HDD 障害予測手法(rank sum 検定・naive Bayes・SVM・クラスタリング)の技術的内訳(§5.2.2.1, §5.2.2.2, §5.2.3.1, §5.2.3.2)。 - 概念: [[データセンター信頼性]] / [[障害予測]] / [[プロアクティブ障害管理]] / [[RAID]] / [[データ耐久性]] / [[フォールトトレランス]] / [[システム信頼性モデル]] - エンティティ: [[Eduardo Pinheiro]] / [[Wolf-Dietrich Weber]] / [[Luiz André Barroso]] / [[Google]] / [[Brendan Gregg]] / [[James Cowling]] / [[Dropbox]] / [[Jerome H. Saltzer]] / [[M. Frans Kaashoek]] - 関連 MOC: [[SRE - MOC]] / [[AIOps - Failure Detection - MOC]] ## 出典 - [[@2019__MorganKaufmann__Computer Architecture - A Quantitative Approach - Chapter 6 Warehouse-Scale Computers to Exploit Request-Level and Data-Level Parallelism]] §6.1 - [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] (全体) - [[@2023__OReillyJapan__詳解 システム・パフォーマンス 第2版 - Chapter 9 ディスク]] §9.4.1.1.8〜§9.4.1.1.11, §9.4.1.2.3〜§9.4.1.2.4 - [[@2021__OReillyJapan__SREの探求 - Chapter 17 データ耐久性のエンジニアリング]] §17.1.2.1, §17.6.1 - Jerome H. Saltzer and M. Frans Kaashoek, *Principles of Computer System Design: An Introduction*, Version 5.0, 2009, Chapter 8, §8.5.4-§8.5.4.9. MIT OpenCourseWare, CC BY-NC-SA 3.0 US. - [[@2010__ACM CSUR__A Survey of Online Failure Prediction Methods - Chapter 5 Survey of Prediction Methods]] §5.2.2.1(Hamerly and Elkan 2001 naive Bayes)、§5.2.2.2(Murray et al. 2003 SVM)、§5.2.3.1(Hughes et al. 2002 rank sum 検定)、§5.2.3.2(Murray et al. 2003 クラスタリング)