## 定義 データセンター信頼性は、部品、設備、運用、ソフトウェアによる障害を許容しつつサービスを継続する性質である。(Source: [[@2017__DSN__What Can We Learn from Four Years of Data Center Hardware Failures]]) ## 横断的知見 - HDD 単体では温度変動の影響が小さい一方、データセンター全体では障害が時間・空間的に相関し、独立障害の仮定では不十分である。(Source: [[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]], [[@2017__DSN__What Can We Learn from Four Years of Data Center Hardware Failures]]) - **データセンター規模での AFR 約 8% という実測値は、「障害は例外ではなく規範」という設計前提を定量的に裏づける**: Microsoft のデータセンター 100,000 台超を 14 か月観測した [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]] では、年間の障害率(AFR)は約 8% であり、HDD が修理の 78%・初回障害の 70% を占めることが判明した。コスト推算($300/修理 × AFR 8% × 100,000 台)では年間 250 万ドル超。これは個別コンポーネントの可用性がいかに高くても、規模の効果でハードウェア障害対策は必須であることを数値化した初の大規模研究である。(Source: [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]]) - **障害の最強予測因子はデータセンター名とメーカー名であり、サーバー齢・ラック位置・ワークロードは有意でない**: 50 超のメトリクスを CHAID 分類木で探索した結果、環境・組織的要因(どのデータセンターか、どのメーカーか)が最上位の予測因子として浮上した。温度・湿度勾配があるはずのラック位置さえも有意にならなかったことは、信頼性が物理的なサーバー属性よりもインフラの調達・設置・運用プロセスに強く依存していることを示唆する。(Source: [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]]) - **障害経験済みサーバーは未経験サーバーと根本的に異なる信頼性パターンを示す**: 少なくとも 1 回の障害を経験したサーバーのみを対象にすると、「機械あたり修理数(RPM)と HDD 数の線形関係」が高い適合度(R²>0.9)で現れる。全サーバー(未経験含む)では同様の構造は現れない。連続障害の発生間隔はインバース曲線に適合し(R²=0.974)、連続障害の 20% が前回障害から 1 日以内・50% が 2 週間以内に発生する。これは最初の障害がサーバーを「良性状態」から「構造的に障害しやすい状態」へと遷移させるという仮説を支持する。(Source: [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]]) - **Google 2007 年研究は「温度・使用率の弱い相関」と「SMART 個別予測の限界」を定量的に示した先駆的データ点である**: Pinheiro et al. (FAST 2007) [[@2007__FAST__Failure Trends in a Large Disk Drive Population]] は Google 本番環境の 10 万台超 HDD を 9 か月観測し、(1) 中温域(25〜45°C)では温度と AFR の相関は弱く、低温域(15〜20°C)でむしろ AFR が高い逆説的傾向がある、(2) 使用率と障害率の相関は 1 年以降では一貫して現れない、(3) 強い SMART シグナル(スキャンエラー・再割り当て等)を持たない障害ドライブが 56% 超にのぼる——という 3 点を実測で示した。Vishwanath & Nagappan 2010 [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]] が「データセンター名・メーカー名が最強の予測因子」と報告したことと合わせると、個別ハードウェア属性よりも「どこで・どのメーカーの製品を使うか」という環境・組織的メタデータが信頼性を左右するという共通テーマが浮かぶ。(Source: [[@2007__FAST__Failure Trends in a Large Disk Drive Population]], [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]]) - **信頼性の「余裕」は資産にも障害予防コストにもなる二面性を持つ**: HDD/サーバーの信頼性研究(Google 2007、Microsoft 2010)は障害が「例外でなく規範」であることを実測で示し信頼性を高める方向の投資を正当化するのに対し、[[@2017__NSDI__RAIL - A Case for Redundant Arrays of Inexpensive Links in Data Center Networks]]は逆に、光トランシーバーが標準要求(BER 10^-12)に対して中央値で6倍もの過剰な信頼性マージンを持つことを実測し、そのマージンを意図的に削ってコストを下げる設計を提案する。両者は「実測に基づき信頼性水準を最適化する」という方法論を共有しつつ、HDD/サーバーでは信頼性不足への対処、光リンクでは信頼性過剰の是正という対照的な方向を向いている。(Source: [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]], [[@2017__NSDI__RAIL - A Case for Redundant Arrays of Inexpensive Links in Data Center Networks]]) ## 未解決の問い - 相関障害の兆候を FOT と環境・ワークロードテレメトリからどこまで早期検知できるか。 - 修理保留による運用コスト削減と、将来の相関障害リスクをどう最適化するか。 - 「障害経験済みサーバーが別の状態に遷移する」という 2010 年の観察は、2017 年以降の研究([[@2017__DSN__What Can We Learn from Four Years of Data Center Hardware Failures]] など)でも再現されているか。ソフトウェアスタックの複雑化・SSD の普及でパターンは変化しているか。 - データセンター名がトップ予測因子というのは、データセンター固有の何(気候・冷却方式・電源品質・設備年齢・調達ポリシー)を反映しているのか。 ## 関連 - [[@2017__DSN__What Can We Learn from Four Years of Data Center Hardware Failures]] - [[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]] - [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]] - [[@2017__NSDI__RAIL - A Case for Redundant Arrays of Inexpensive Links in Data Center Networks]] - [[障害予測]] - [[光リンク過剰設計]] ## 出典 - [[@2017__DSN__What Can We Learn from Four Years of Data Center Hardware Failures]] - [[@2013__ACM TOS__Datacenter Scale Evaluation of the Impact of Temperature on Hard Disk Drive Failures]] - [[@2010__SoCC__Characterizing Cloud Computing Hardware Reliability]] - [[@2017__NSDI__RAIL - A Case for Redundant Arrays of Inexpensive Links in Data Center Networks]]