> [!abstract] 概要 > 現代のデータセンターは、複数の機械・電気・制御システムが複雑に相互作用する場である。 > 運用構成の組合せが非常に多く、非線形な相互依存関係もあるため、エネルギー効率を理解し最適化することは難しい。 > 本稿では、実運用データから学習して設備性能をモデル化し、PUEを平均絶対誤差0.004、標準偏差0.005の範囲で予測するニューラルネットワークの枠組みを開発する。 > これはPUEが1.1の場合に0.4%の誤差に相当する。 > このモデルをGoogleのデータセンターで広範にテストし、検証した。 > 結果は、機械学習が既存のセンサーデータを活用してデータセンター性能をモデル化し、エネルギー効率を改善する有効な方法であることを示す。 > (Source: [[.raw/papers/42542.pdf]]) ## 論文情報 - タイトル: *Machine Learning Applications for Data Center Optimization* - 著者: [[Jim Gao]](Google) - 媒体: Google White Paper、2014年8月 - 公式ページ: https://research.google/pubs/machine-learning-applications-for-data-center-optimization/ - 原本: [[.raw/papers/42542.pdf]]（13ページ） ## 概要 Googleのデータセンターで蓄積された5分間隔の運用データを使い、設備構成と気象条件からPUEを予測するニューラルネットワークを構築する。 予測器を単なる監視にとどめず、運用パラメータの感度分析、異常メーターの検知、設備構成変更の事前シミュレーションに利用する点が中心的な提案である。(Source: [[.raw/papers/42542.pdf]]) ## 問題設定 大規模データセンターでは、冷却設備、電気設備、制御戦略、IT負荷、外気条件がフィードバックを伴って相互作用する。 冷却塔の台数、冷水ポンプの設定値、チラーの稼働状態などの組合せが多く、固定的な工学式だけでは運用時の非線形な依存関係を十分に表しにくい。 一方、既存の監視基盤は毎日数百万点を数千センサーから収集するが、そのデータは監視以外に十分活用されていない。 目的変数にはPower Usage Effectiveness(PUE)を選ぶ。 PUEは施設全体のエネルギー効率を表す比率であり、施設の総エネルギー消費量そのものではない。 ## 提案手法 ### アーキテクチャ 入力行列 $x$ は、IT負荷、気象条件、稼働中のチラー・冷却塔数、設備設定値などの入力変数からなる。 入力に第1パラメータ行列を適用して隠れ状態を計算し、第2パラメータ行列を介して出力 $h_\theta(x)$、すなわちPUEを得る3層ニューラルネットワークを基本形とする。 **Figure 2: 3層ニューラルネットワーク** ![[_attachments/42542/fig02-neural-network.png]] (Figure 2. 入力層から隠れ層を経て出力層へ接続し、出力 $h_\theta(x)$ を計算する構造。Source: [[.raw/papers/42542.pdf]]) 実装モデルは5隠れ層、各層50ノード、正則化パラメータ0.001とする。 入力は19変数、出力は正規化したPUE 1変数であり、各変数は5分間隔の184,435サンプル、約2年分の運用データから作る。 データの70%を訓練、30%を交差検証とテストに使い、訓練・テスト分割による新旧期間の偏りを避けるため時系列順を無作為にシャッフルする。 ### 学習手順 学習は、(1) パラメータを[-1,1]で無作為初期化、(2) 順伝播、(3) コスト関数の計算、(4) 逆伝播によるパラメータ更新、(5) 収束まで反復、の手順で行う。 活性化関数にはシグモイド関数を使い、コスト関数には予測値と実測値の二乗誤差およびL2正則化項を含める。 入力特徴量は広い値域を[-1,1]へ正規化する。 線形独立な特徴量を選ぶことは、訓練時間と過学習の可能性を減らし、設備制御に本質的な入力へモデルを絞る効果がある。 ### 入力変数 19変数は、サーバーIT負荷、CCNR IT負荷、プロセス水ポンプ(PWP)の台数と平均VFD速度、凝縮水ポンプ(CWP)の台数と平均VFD速度、冷却塔の台数と出口水温(LWT)設定値、チラー台数、ドライクーラー台数、冷水注入ポンプ台数と設定温度、熱交換器アプローチ温度、外気の湿球温度・乾球温度・エンタルピー・相対湿度・風速・風向である。 台数や平均値の一部は個別センサー値から導出したメタ変数である。 前処理にはPython 2.7、SciPy 0.12.0、NumPy 1.7.0を使い、モデル訓練と後処理にはMATLAB R2010aを使う。 ## 実験結果 ### 予測精度 **Figure 1: GoogleのPUEの歴史的推移** ![[_attachments/42542/fig01-pue-history.png]] (Figure 1. Google全データセンターの平均PUEは、2008年の年平均1.21から2013年の1.12へ低下し、TTM系列は漸近的な低下を示す。Source: [[.raw/papers/42542.pdf]]) **Figure 3: 予測PUEと実測PUE** ![[_attachments/42542/fig03-predicted-vs-actual-pue.png]] (Figure 3. 夏季の1か月について、予測値と実測値が時間に沿って近接して推移する。Source: [[.raw/papers/42542.pdf]]) テストデータにおける平均絶対誤差は0.004、標準偏差は0.005である。 PUEが1.14を超える領域では訓練データが少ないため誤差が増えるが、追加の運用データで改善が見込まれる。 ### 感度分析 入力変数を一度に1つだけ線形に変化させ、他の変数を固定してPUEへの影響を調べる。 結果はすべて実地試験で検証した。 **Figure 4a: IT負荷、Figure 4b: チラー、Figure 4c: 冷却塔、Figure 4d: 冷却塔LWT設定値への感度** ![[_attachments/42542/fig04-sensitivity-operating-parameters.png]] (Figure 4a–d. IT負荷の増加では最大負荷の0–70%でPUEが大きく低下し、それ以降は漸近する。Figure 4bのチラー台数の増加はPUEを高め、Figure 4cの冷却塔台数の増加とFigure 4dのLWT設定値の上昇はPUEを下げる傾向を示す。Source: [[.raw/papers/42542.pdf]]) 冷却塔LWT設定値と冷水注入ポンプ設定値を3°F上げると、PUEが約0.005低下する可能性がある。 冷却塔を複数台で分担させる設計は、同じ冷却負荷をより低いファン速度で処理できるため、設備全体で効率的になりうる。 **Figure 5a: プロセス水ポンプ台数、Figure 5b: PWPのVFD速度、Figure 5c: ドライクーラー、Figure 5d: 湿球温度への感度** ![[_attachments/42542/fig05-sensitivity-pumps-weather.png]] (Figure 5a–d. プロセス水ポンプ台数・VFD速度の増加、ドライクーラーの稼働、外気湿球温度の上昇はいずれもPUEを押し上げる。Source: [[.raw/papers/42542.pdf]]) ドライクーラーは冬季の凍結リスクがあるときに使われるが、冷却塔より効率が低く、稼働台数とPUEがほぼ線形に増加する。 外気湿球温度が高いほど冷却塔の有効範囲が狭まり、ファン速度と機械冷却が増える。 **Figure 6: 外気エンタルピーへの感度** ![[_attachments/42542/fig06-enthalpy.png]] (Figure 6. 外気エンタルピーが増えるとPUEは非線形に増加する。エンタルピーは湿球温度だけでなく外気の水分量と比熱も含む。Source: [[.raw/papers/42542.pdf]]) 感度分析では、外気エンタルピーがPUEへ最も大きく影響し、IT負荷がそれに続く。 冷却塔LWT設定値と稼働中のドライクーラー数も重要な変数である。 ### 適用例 **Figure 7: 高いPWS温度と通常運用のPUE分布** ![[_attachments/42542/fig07-pue-distribution.png]] (Figure 7. 高いプロセス水供給温度での3週間(赤)と、低い温度での1.5年(青)のPUE分布。類似するサーバー負荷と湿球温度に絞ると、冷却塔だけを使う左側の分布の平均には約0.005の差がある。Source: [[.raw/papers/42542.pdf]]) - **プロセス水供給温度の変更**: 冷却塔LWTと冷水注入ポンプの設定値を上げ、物理変更前の予測を実地試験で確認した。 - **誤ったメーター値の検知**: 天然ガスメーターの単位比率が地域で異なるため、実測PUEが予測PUEを0.02–0.1上回る異常を検知した。 - **設備構成の最適化**: 電気設備工事でサーバートラフィックの約40%を数日間迂回させる際、PUEシミュレーションと現場知識を組み合わせ、従来構成よりPUEを約0.02下げる運用パラメータを選んだ。 ## 考察 PUEモデルは、実測値と予測値の差による性能アラート、リアルタイムの効率目標、トラブルシューティングに利用できる。 さらに、設備を実際に変更せずに運用構成を仮想化し、候補設定のPUEを比較できるため、変更に伴う不確実性を下げられる。 この応用は、監視データを予測器へ変換し、その予測器を制御設定の意思決定へ戻す閉ループの前段にあたる。 ## 強み / 弱点・課題 ### 強み - 既存センサーの実運用データを使い、冷却設備と気象条件の非線形な相互作用を単一モデルで扱う。 - 予測、感度分析、異常メーター検知、設備構成シミュレーションを同一のモデルから派生させる。 - Googleの実データセンターでテストし、感度分析の結果を実地試験で検証する。 ### 弱点・課題 - モデルの精度は入力データの品質と量に依存し、観測の少ない運用条件では低下する。 - 複数のパラメータ設定が同じ予測精度を持ちうるため、予測結果の採用には分析者と運用者の判断が必要である。 - PUEは比率であり、施設全体のエネルギー消費量を直接表さない。 - 時系列順をシャッフルして訓練・テスト分割する設計は、論文の評価条件では機能するが、将来の運用条件への外挿性能を直接測るものではない。(Source: [[.raw/papers/42542.pdf]]) ## 結論 Googleのデータセンターで実際に収集したセンサーデータからニューラルネットワークを学習し、PUEを0.004±0.005で予測した。 このモデルは、性能評価、設備構成の事前シミュレーション、さらなるPUE改善機会の特定に利用できる。(Source: [[.raw/papers/42542.pdf]])