# Bradley-Terryモデル ## 定義 Bradley-Terry(BT)モデルは、ペアワイズ比較データから対象集合の各要素に相対的な強さを表すスコアを推定する統計モデルである。LLM評価の文脈では、モデル集合 $M$、評価対象ペアの集合 $A = \{(m,m'): m<m', m,m' \in M\}$、対応する評価の集合 $H = \{h \in \{0,1\}\}$ を考え、各モデル $m$ にBT係数 $\xi_m \in \mathbb{R}$ を割り当てる。モデル $m'$ が $m$ より優れていると判断される確率は $p(h_t=1) = \frac{1}{1+\exp(\xi_m - \xi_{m'})}$ というロジスティック関係で表現される。$\xi_{m'}$ が $\xi_m$ より大きいほど確率は1に近づき、小さいほど0に近づく。真の同時確率分布 $P$ のもとで交差エントロピーを最小化する $\xi$ としてスコア $s(P)$ が定義され、現実には $P$ が未知であるため、得られた $T$ 件の評価データからの最尤推定(MLE)でスコア $s(\hat P)$ を推定する。このとき比較対象ペアが得られる確率の逆数で重み付け(逆確率重み付け)し、非一様な対戦モデル選出(能動サンプリング)の効果を補正する。信頼区間はサンドイッチ推定量で分散共分散行列を求めて構成する。(Source: [[@2024__arXiv__Chatbot Arena - An Open Platform for Evaluating LLMs by Human Preference]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]]) Chatbot Arenaでは、推定されたBT係数 $\xi$ は基準値・スケールの観点で人間に直感的でないため、大小関係を保つアフィン変換を施したものを表示スコア(Arena Score)としている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]]) ## 横断的知見 - **原論文が数式だけでは追いにくい記号運用を、本書は自覚的に指摘したうえで概念レベルの理解を優先する構成を取る**: [[@2024__arXiv__Chatbot Arena - An Open Platform for Evaluating LLMs by Human Preference]] は式(3)としてBTモデルのスコア算出式を提示するが、[[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]] は同じ式を訳出する際に「原論文は数式だけ見ると不思議な記号の使い方をしている」「本書でも記号の使い方に不正確なところはある(最適化をBT係数全体に対して実施するが期待値の計算の中身では単一のペアのみを書いていて厳密には正しくない)」と自ら明記し、そのうえで「数式としても明瞭にしようとするとここでしか使わない定義を持ち出すことになり、正確さによる恩恵よりも煩雑さによる弊害のほうが大きい」と判断して概念的な理解を優先する記法を選んでいる。原論文の source ページは式(3)を厳密な記法のまま提示するのに対し、本書は「論文を読む際にはたびたび遭遇するもの」として記法の非厳密さそのものを読者への教訓に転換しており、単なる数式の要約以上の「原論文の読み方」を示す点が本書固有の価値である。(Source: [[@2024__arXiv__Chatbot Arena - An Open Platform for Evaluating LLMs by Human Preference]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]]) - **ランキング順位の明示的な定義式は本書が補った前提知識である**: 原論文のsource ページ本文はBT係数の推定・信頼区間構成に重点を置き、順位(rank)の定義そのものは明示されていないのに対し、本書は $\mathrm{rank}(P)_m = 1 + \sum_{m' \neq m} \mathbb{1}\{s(P)_{m'} > s(P)_m\}$ という定義式(式8.1)を導入してから初めてBT係数の議論に入る。これは「スコアから順位がどう決まるか」という、原論文が前提として省略した基礎部分を本書が明示的に補っている例である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]]) ## 未解決の問い - 本書が指摘する原論文の記号の不正確さ(BT係数全体への最適化と単一ペアの期待値計算の混在)は、実装コード上ではどのように解消されているか。公式実装(演習問題8.2で参照される Colab)を確認する必要がある。 - アフィン変換の具体的な係数(Arena Scoreへの変換式)は原論文に明記されていない。本書は演習問題としてこの確認を読者に委ねており、wiki側でも未確認である。 ## 関連 - [[LLM評価]] — Chatbot Arenaの評価手法全体における BT モデルの位置づけ - [[LLMランキング]] — ペアワイズ比較の集約手法としての BT モデルと、ソートアルゴリズムによる集約との対比 - [[LLM比較器]] — BT モデルが前提とするペアワイズ比較そのものの特性・限界 - [[Chatbot Arena]] — BT モデルを採用する代表的な実装 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]] — 本概念の主要な出典(本書による数理的読み解き) ## 出典 - [[@2024__arXiv__Chatbot Arena - An Open Platform for Evaluating LLMs by Human Preference]](提案手法節: BTモデルの定式化・MLE・サンドイッチ信頼区間) - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]](§8.1: 式8.1〜8.4、原論文の記法に関する読み解き)