## Memo - Meta社におけるLLMによりAndroidのコード生成の論文。 - [twitter.com/nathanbenaich/status/1758036247115608317] ## Abstract この論文では、Meta 社の TestGen-LLM ツールについて述べる。このツールは、[[LLM]] を利用して、人間が書いた既存のテストを自動的に改善する。TestGen-LLM は、生成されたテストクラスが、元のテストスイートに対して測定可能な改善を保証するフィルタのセットを正常にクリアしていることを検証し、LLM の幻覚による問題を排除する。我々は、Instagram と Facebook プラットフォームの Meta test-a-thon における TestGen-LLM の展開について述べる。Instagram の Reels と Stories 製品の評価では、TestGen-LLM のテストケースの 75%が正しくビルドされ、57%が確実にパスし、25%がカバレッジを向上させた。メタ社のインスタグラムとフェイスブックのテスト・ア・ソンでは、適用された全クラスの11.5%が改善され、メタ社のソフトウェア・エンジニアが推奨した73%が本番配備に受け入れられました。このようなコード改善の保証に裏打ちされた、LLMによって生成されたコードの産業規模での展開に関する最初の報告であると我々は信じている。