# Kayenta Netflixで広く使われてきた自動カナリア分析システム。[[@2022__KDD__Rapid Regression Detection in Software Deployments through Sequential Testing]]によれば、他のカナリアテストシステムと同様、統制実験(controlled experiment)の設計に基づき、カナリアテストの評価にMann-Whitney U検定のような固定-$n$(fixed-$n$)統計検定を用いる。固定-$n$検定は本来「厳密に1回だけ」使うべきものだが、著者らは開発者がregressionを早期に検知しようとして実運用でKayentaの検定を繰り返し適用してしまう("peeking")実態を観測し、これが本論文の逐次検定フレームワークの直接の動機になったと述べる。 ## wiki 内の言及 - [[@2022__KDD__Rapid Regression Detection in Software Deployments through Sequential Testing]]: 関連研究として言及。開発者による固定-$n$検定の繰り返し適用(peeking)という実務上の問題の具体例として引用され、本論文が提案する逐次検定への投資動機になったと述べられている。