# 制御ロールアウト Navigation: [[index]] | [[overview]] ## 定義 制御ロールアウト(controlled rollout, CRL)とは、段階的ロールアウト(phased rollout。利用者を Dogfood → Internal → Insiders → Production のようなリングへ段階的に分割し、内側の小さなリングから外側の大きなリングへ順に展開する手法)の**各リング内でオンライン制御実験(Online Controlled Experiment, OCE / A/Bテスト)を実行する**ハイブリッド手法である。あるリングで新機能・新ビルドの信頼性と影響を統計的仮説検定により測定し、事前に定めた合格基準を満たした場合にのみ、そのリングへ完全展開しつつ次のリングで新たな実験を開始する。段階的ロールアウト単独が抱える「時間がかかる」「初期利用者が母集団を代表しない」「影響の測定が不正確」という問題と、オンライン制御実験単独が抱える「本番母集団への曝露によるリスクの高さ」「逐語的フィードバックの少なさ」という問題の双方を緩和することを狙う([[@2019__ICSE-SEIP__Safe Velocity - A Practical Guide to Software Deployment at Scale using Controlled Rollout]])。 ## 横断的知見 - 現時点でこの vault に集約されているソースは1件([[@2019__ICSE-SEIP__Safe Velocity - A Practical Guide to Software Deployment at Scale using Controlled Rollout]])のみであり、横断的知見はまだ蓄積されていない。今後、オンライン制御実験・段階的ロールアウトに関する別ソースが ingest された際に、本節へ知見を追記する。 ## 未解決の問い - 各リングで「何を測定し、どれだけの期間ロールアウトを走らせれば意味のある結果が得られるか」を決める体系的な理論は何か。ソース論文は検出力分析(式1・2)に基づく実務的指針を示すが、著者ら自身、異なるビジネス課題には異なる答えがありうると留保している([[@2019__ICSE-SEIP__Safe Velocity - A Practical Guide to Software Deployment at Scale using Controlled Rollout]])。 - 早期リング(Dogfood・Internal)のようにサンプルサイズが小さい場合、制御実験の検出力をどう確保すべきか。検出力分析は一定の指針を与えるが、著者らはこれを「制御実験分野で活発に研究されている問題」として未解決のまま残している。 - 制御ロールアウトを2バリエーション以上(複数の処理群)へ拡張した場合に生じる多重比較問題は、どのようなデータパイプライン・分析手法で扱うべきか。まれなバグの検出に複数バリエーションが活用できるかも未検証。 - 制御ロールアウトの各リングにおける合否判定([[@2019__ICSE-SEIP__Safe Velocity - A Practical Guide to Software Deployment at Scale using Controlled Rollout]] の t 検定ベースの統計的合格基準)と、[[カナリアテスト]]における判定(統計仮説検定の結果を PASS/FAIL/中間状態という少数の離散状態へ還元する設計)は、いずれも「段階的に展開しながら統計的に判定する」という共通の骨格を持つように見えるが、両者が独立に発展した設計思想の違い(制御ロールアウトはリングごとに異なる指標セット・検出力目標を明示的に設計するのに対し、カナリアテストは単一の統計検定パイプラインを標準化する方向に寄る)は、直接比較できるソースがまだないため未検証。 ## 関連 - ソース: [[@2019__ICSE-SEIP__Safe Velocity - A Practical Guide to Software Deployment at Scale using Controlled Rollout]] - 関連組織・人物: [[Microsoft]] / [[Tong Xia]] / [[Sumit Bhardwaj]] / [[Pavel Dmitriev]] / [[Aleksander Fabijan]] / [[Outreach.io]] - 関連概念: [[カナリアテスト]](デプロイリスクを段階的曝露と統計判定で低減するという上位の狙いは共通するが、リング内制御実験による因果測定を核とする制御ロールアウトと、異常検知トリガーで停止するカナリアテストは、判定メカニズムが異なる。横断的知見はまだ未接続) - 関連 MOC: なし(発見性向上のための一方向参照は今後の ingest で拡充)