# Ofqual 英国の教育と試験の監査機関。2020年夏、COVID-19の大流行によりA レベル試験(大学入学資格として認められる統一試験)が中止された際、統計モデル(アルゴリズム)を用いて過去の成績データと教師による評価を組み合わせ、試験を受けさせないまま生徒に最終的なA レベルの成績を自動で割り振った。 2019年データでのテストでは平均精度約60%(人間の評価者間の一致率とほぼ同水準)だったが、公開された結果は不正確で信用に値しないと世間から反発を招いた。事後の検証で、(1) 生徒個々の成績精度ではなく学校間の「標準の維持」を最適化目標に採用した目的設定の誤り、(2) 人口統計グループ間の教師評価の不整合や小規模校での扱いに対する評価不足、(3) システムの目的を成績発表当日まで公開しなかった透明性の欠如、という3つの主な失敗が指摘された。王立統計学会(Royal Statistical Society)は、Ofqualが組織した「技術諮問委員会」の構成に懸念を表明している。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 11 機械学習の人的側面]] §11.3.1.1) ## 関連 - 概念: [[責任あるAI]] / [[予測分析とアルゴリズムバイアス]] - ソース: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 11 機械学習の人的側面]] ## 出典 - [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 11 機械学習の人的側面]](§11.3.1.1)