## Memo - 人間が書いた既存のテストケースを[[LLM]]を用いて拡張するMetaのTestGen-LLMが話題になっている。一方、同時公開の別のMetaの論文では、ランタイムの計測値を用いてスクラッチからテストコードを生成する手法が提案されている。 ## Abstract TestGenは、アプリの実行中に観測された複雑なオブジェクトのシリアライズされた観測結果から、単体テストを自動的に生成する。Meta における TestGen の開発とデプロイメントについて述べる。特に、オブザベーションベースのテストカービングを産業界で大規模に展開するために、開発中に克服したスケーラビリティの課題に焦点を当てる。これまでのところ、TestGenは518のテストを本番環境に導入し、継続的インテグレーションにおいて9,617,349回実行され、5,702のフォールトを発見した。Metaは現在、より広範なデプロイメントの過程にある。我々の評価では、4,361の信頼できるエンドツーエンドテストからオブザベーションを切り分けたとき、TestGenはエンドツーエンドテストでカバーされるクラスの少なくとも86%に対するテストを生成できたことが明らかになった。16のKotlinインスタグラムのアプリ起動ブロックタスクをテストした結果、TestGenテストは、これらのうち13を起動ブロックになる前に捕捉できることが実証された。