# Chatbot Arena [[LMSYS]] が開発した LLM 評価のオープンプラットフォーム(https://chat.lmsys.org)。匿名の 2 モデルに同一プロンプトを投げ、ユーザーが好みを選ぶペアワイズ比較方式でデータを収集。収集した投票を Bradley-Terry モデルで統計的にランキングし、LLM リーダーボードとして公開する。2023-04 から稼働し 2024-01 時点で 90K ユーザー・240K 票・50+ モデルを対象とする。業界で最も参照される LLM リーダーボードの一つ。 詳細: [[@2024__arXiv__Chatbot Arena - An Open Platform for Evaluating LLMs by Human Preference]]