# Google Music [[Google]] の音楽サービス。[[@2016__OReilly__SRE Book - Chapter 26 Data Integrity - What You Read Is What You Wrote]]の後半で詳述されるケーススタディの題材。 2012年、プライバシー保護のためのデータ削除パイプラインが規模拡大に対応するため再設計された際、パイプラインの各ステージ間の時間的な調整前提(3時間の間隔など)が崩れたことで競合状態(race condition)が発生し、約60万件の音声参照が誤って削除され、21,000ユーザが影響を受けた。バグは2012年2月6日の初回実行以降1ヶ月以上気づかれず、3月7日にユーザ報告から発覚した。復旧チームはオフサイトの暗号化バックアップテープ5,000本超をトラック輸送で回収する作業(1.5ペタバイト、5,475件の復旧ジョブに分割)と根本原因調査を並行して進め、直前の年次災害復旧演習(DiRT)の経験とツールを活用した。436,223件中の大半は約7日で復旧し、バックアップ前に削除された残り161,000件の一部はユーザによる再アップロードで補った。 ## 関連 - [[@2016__OReilly__SRE Book - Chapter 26 Data Integrity - What You Read Is What You Wrote]] — ケーススタディの主要な題材 - [[データ完全性]] — 章の中心概念 - [[Rhandeev Singh]] / [[Raymond Blum]] — 章の著者 - [[Google]] — 運営組織 ## 出典 - [[@2016__OReilly__SRE Book - Chapter 26 Data Integrity - What You Read Is What You Wrote]]