# Chukwa [[Ariel Rabkin]] と [[Randy H. Katz]]（[[University of California, Berkeley]]）が開発した、[[MapReduce]] での処理を前提とした大規模ログ・監視データ収集システム。Apache Software Foundation が管理する [[Apache Hadoop]] のサブプロジェクトとしてパーミッシブライセンスで公開されている。監視対象ホストごとに状態を保持する「エージェント」プロセスと、[[HDFS]] への書き込みを担うステートレスな「コレクタ」プロセスに役割を分離し、コレクタ障害時の復旧責任を全てエージェント側に寄せるエンドツーエンドの信頼性モデルを採る点が設計上の中心的特徴である。信頼できる経路（HDFS への確実な書き込み、数分オーダーの遅延）と fast path（TCP ソケット経由、数秒オーダーの遅延だが再送・順序保証なし）という2つの配信モデルを併用できる。(Source: [[@2010__LISA__Chukwa - A System for Reliable Large-Scale Log Collection]]) 200エージェント・単一コレクタ構成（fan-in 200:1）で約30 MB/秒、20コレクタまでの水平スケールで合計約200 MB/秒を線形に達成し、Cloudstone ベンチマークおよび Hadoop 標準ジョブに対する監視オーバーヘッドは3%以内に収まることが実測されている。CBS Interactive・Specific Media でのウェブログ解析、UC Berkeley SCADS プロジェクトの Director コンポーネントでの低レイテンシデータ配信など、複数サイトでの実運用実績が報告されている。(Source: [[@2010__LISA__Chukwa - A System for Reliable Large-Scale Log Collection]]) ## 関連 - ソース: [[@2010__LISA__Chukwa - A System for Reliable Large-Scale Log Collection]] - 人物: [[Ariel Rabkin]] / [[Randy H. Katz]] - 比較対象: [[Scribe]]（コレクタ側に信頼性を持たせる設計で、Chukwa とは対照的）