# CanaryAdvisor [[IBM Research]]([[Alexander Tarvo]]・Peter F. Sweeney・Nick Mitchell・V. T. Rajan・Matthew Arnold・Ioana Baldini)が開発した、クラウドベースアプリケーションのカナリアテストを自動化するツール。ISSTA'15でデモ発表された([[@2015__ISSTA__CanaryAdvisor - A Statistical-Based Tool for Canary Testing]])。 - Data Collection(`collectd`/`logstash`によるデータ収集)→DataAgent(メトリクス変換)→CanaryAdvisor Service (CAS)(RESTfulなメトリクス比較サービス)→DecisionMaker(判定集約)→User Interface(可視化)の5段階パイプラインとして実装される。 - ベースラインとカナリアのメトリクス差を非パラメトリック統計仮説検定で判定し、許容誤差係数xと信頼区間幅の臨界値Wcriticalの2パラメータで頑健性とデータ要求量のトレードオフを制御する。 - テスト結果を Pass / Fail / Some problems / Inconclusive の4値に分類する。 - Daytraderベンチマークアプリケーションへの障害注入実験で動作を実証した(詳細は source ページ参照)。 ## 関連 - 本ソース: [[@2015__ISSTA__CanaryAdvisor - A Statistical-Based Tool for Canary Testing]] - 開発者: [[Alexander Tarvo]] - 開発機関: [[IBM Research]] - 関連 concept: [[カナリアテスト]]