# Google File System ## 概要 [[Google]] が開発した分散ファイルシステムであり、大規模データの格納・管理を担う。[[@2006__OSDI__Bigtable - A Distributed Storage System for Structured Data]] では [[Bigtable]] の基盤インフラストラクチャとして登場し、コミットログと SSTable データファイルの永続化に使用される。Bigtable クラスタは通常、他の分散アプリケーションと共有されるマシンプール上で動作し、GFS サーバと同居する。[[@2004__OSDI__MapReduce - Simplified Data Processing on Large Clusters]] では、GFS が入力データを 64MB ブロック単位・典型3レプリカでクラスタ内マシンのローカルディスクに分散配置している事実を、MapReduce の局所性最適化(入力データのレプリカを持つマシンに map タスクをスケジュールする)が活用している。 原論文は Ghemawat, Gobioff, Leung による "The Google file system"（SOSP 2003）で発表された。 ## 関連 - ソース: [[@2006__OSDI__Bigtable - A Distributed Storage System for Structured Data]] / [[@2004__OSDI__MapReduce - Simplified Data Processing on Large Clusters]] - エンティティ: [[Google]] / [[Bigtable]] / [[Sanjay Ghemawat]] - 概念: [[分散ストレージ]] / [[タスク並列フレームワーク]] ## 出典 - [[@2006__OSDI__Bigtable - A Distributed Storage System for Structured Data]] - [[@2004__OSDI__MapReduce - Simplified Data Processing on Large Clusters]]