#tracing #ML [User Simulation for Rapid Outage Mitigation](https://www.infoq.com/presentations/uber-user-simulation/) > By feeding this data into a machine learning model, we are gaining the ability with increasing accuracy to predict, given the blackbox already tells us which endpoint fails, which specific service is most likely responsible for an outage. With this system, we're closer than ever to being able to accurately predict the root cause of an outage right from blackbox. Uberでは、統合テストの開始時に、テストフレームワークの一部としてデフォルトで新しいルートスパンを作成し、コアフロー上のすべてのサービスがさらにスパンを継続して伝搬するようにすることで、重要なサービスのほとんどをJaegerでトレースしています。このルートスパンからスタートして、統合テスト全体のトレースを完了させることができました。数千スパンに及ぶトレースを作成し、統合テストのトラバーサルから、「食べる」または「乗る」製品の同期フロー全体を網羅しました。ブラックボックスのすべてのインパクトテスト（eats and ridesの2つのコアテスト）のトレースをオンにすると、ブラックボックスで実行されるテストの頻度を利用して、特定の都市における特定のテストの成功と失敗の経路に関する膨大なデータを収集することができました。このデータを機械学習モデルに投入することで、どのエンドポイントで障害が発生したのか、どのサービスが障害の原因となっている可能性が高いのかを、blackboxがすでに教えてくれているので、精度の高い予測が可能になります。このシステムにより、障害の根本的な原因をブラックボックスから正確に予測できるようになりました。