# Apache Hadoop Apache Hadoopは、HDFSによる分散ファイル格納とMapReduceによる大規模バッチ計算を組み合わせたデータ処理基盤である。 Facebookでは、Hiveを上位に置き、ログと業務データを格納・変換・分析するデータウェアハウスの基盤として使われた。(Source: [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]]) ## Facebookでの役割 - Scribeが集約したログをHDFSファイルとして保持する格納層 - Hiveが生成したMapReduceジョブを実行する計算層 - 本番クラスタとアドホッククラスタを分離し、異なるSLAのジョブを収容する運用基盤 ## 出典 - [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]]