> [!abstract] 概要 > 大規模言語モデル(LLM)は幅広い文脈で、もっともらしいが虚偽の情報を生成することが知られているが、このハルシネーション問題の実世界における規模と帰結は十分に理解されていない。本研究は、一意に検証可能な対象である「学術引用」を活用し、arXiv・bioRxiv・SSRN・PubMed Central にまたがる論文 250 万本の参照 1 億 1,100 万件を監査する。LLM の普及後に実在しない参照が急増していることを見出し、2025 年単年で保守的な推定でも 146,932 件のハルシネーション引用があった。これらの誤りは多くの論文に拡散的に埋め込まれているが、AI 導入が急速な分野、AI 支援執筆の言語的特徴を持つ原稿、そして小規模・初期キャリアの著者チームにおいて特に顕著である。同時に、ハルシネーション引用は既に著名で男性の研究者に不均衡に功績を割り当てており、LLM が生成する誤りが科学的評価における既存の不平等を強化しうることを示唆する。プレプリントのモデレーションおよびジャーナル出版プロセスはこれらの誤りのごく一部しか捕捉できておらず、ハルシネーションを含むコンテンツの拡散が既存の防護策を上回っていることを示唆する。これらの知見は、人間とAIシステムが既存文献を参照しながら今後の科学的発見を進める中で、LLM のハルシネーションが知識生産に大規模に浸透し、信頼性と公平性の両方を脅かしていることを示している。 ## 論文情報 - **タイトル**: LLM hallucinations in the wild: Large-scale evidence from non-existent citations - **著者**: Zhenyue Zhao・Yihe Wang(いずれも共同筆頭)・Toby Stuart・Mathijs De Vaan・Paul Ginsparg・Yian Yin - **所属**: Cornell University(Department of Information Science)、University of California, Los Angeles(Department of Sociology)、Tsinghua University(Department of Computer Science and Technology)、University of California, Berkeley(Haas School of Business) - **媒体・発表年**: arXiv プレプリント、2026-05-08 投稿 - **arXiv ID**: 2605.07723 ## 概要 科学論文の参照(引用)を「実在するか否かが一意に判定できる」検証対象として利用し、LLM のハルシネーションが実世界の知識生産にどれだけ浸透しているかを大規模に監査した研究。arXiv・bioRxiv・SSRN・PubMed Central の 4 コーパスを横断し、LLM 普及前後の「マッチしない参照(unmatched citations)」の比率変化から、通常の書誌エラーを差し引いた「ハルシネーション引用」の population-level な発生率を推定する。 ## 問題設定 - **入力**: 4 コーパス(arXiv 論文 1,465,145 本・bioRxiv 261,928 本・SSRN 421,698 本・PMC 374,807 本のサンプル)の生原稿ファイルから抽出した参照文字列、計 1 億 1,100 万件超 - **出力**: 各参照が実在の学術文献にマッチするか否かの判定、およびマッチしない参照(unmatched)のうち LLM ハルシネーション由来と推定される超過分 - **前提**: LLM 登場前の unmatched 率を「通常の書誌・マッチングエラーのベースライン」とみなし、LLM 登場後の超過分をハルシネーションのシグネチャとして扱う。個々の参照を「ハルシネーションか否か」に二値分類するのではなく、コーパス全体の population-level な超過率として推定する設計 ## 提案手法 - **参照検証パイプライン**: 生原稿から参照を抽出し、構造化フィールドにパース。Semantic Scholar と OpenAlex から構築したローカル Elasticsearch インデックスに対しタイトルで候補検索し、文字列類似度基準でマッチを判定(この時点で 95.1% がマッチ)。未マッチ分は GPT-4o-mini による LLM クリーニングで非学術的な参照文字列を除外し(未マッチ率 2.33% に低減)、タイトル抽出を再精緻化して Elasticsearch に再投入(未マッチ率 1.54% に低減)。最終的にサードパーティ API 経由で Google Scholar への追加照会を行い、明確な一致または複数論文からの一貫した被引用があれば有効と判定。それでも検証不能な参照が最終的な「unmatched」プールとなる - **ベースライン差分推定**: unmatched 率の時系列を回帰枠組み(SI S2.2)で推定し、2022 年末までの安定した水準をベースライン誤り率として扱い、以降の超過分をハルシネーション率と定義。回帰係数から月次のハルシネーション引用の絶対数も推定する - **LLM 使用強度の推定**: arXiv 全論文アブストラクトに対し、既存の標準的手法(SI S2.4)で LLM 支援執筆の言語的シグネチャを推定し、分野・論文レベルでのハルシネーション率との相関を検証する - **著者・受益者分析**: unmatched 引用を「LLM ハルシネーション由来の確率 $p_i$」と「非 LLM 起源の通常マッチ失敗の確率 $q_i$」を持つ混合分布としてモデル化し、回帰式 $y_i = \alpha + \gamma_{\text{category}} + \delta_t + \beta p_i + \theta q_i + \varepsilon_i$ で $\beta$(ハルシネーション引用固有の偏差)を推定する(マッチした参照は $p=q=0$、未マッチは $p+q=1$)。時期・分野をマッチさせた対照論文群と比較する - **著者名解決**: arXiv 引用から著者名を抽出し、SPECTER2 ベースの論文レベル埋め込みで同姓同名を曖昧性解消し、引用論文が被引用著者の既存業績と近接する場合のみ帰属を確定する(SI S2.8, S3.5) ## 新規性 - 既存研究は主に (1) LLM に参照生成をプロンプトして個々のハルシネーション事例を文書化する実験的手法(上限推定になりやすく人間の検査を経ない)、(2) 特定ドメインやプレプリントサーバーに限定してハルシネーション検知ツールを適用する事例研究(数十〜数百件規模)、のいずれかに留まっていた - 本研究は個々のハルシネーションを検出・分類するのではなく、**LLM 登場前後の unmatched 引用率の変化を population-level な指標として追跡する**設計を採用し、通常の書誌エラーをベースラインとして差し引くことで、保守的だが体系的なハルシネーション有病率の推定を可能にした - 4 つの大規模コーパス(異なる分野・出版形式・引用パースィング手法)を横断することで、特定分野・特定プラットフォームに偏らない一般化可能な証拠を提示した点が新規性 ## 実験設定 - **データセット**: arXiv(1,465,145 プレプリント、2020 年 1 月〜2025 年 8 月、60.9% が LaTeX 形式で直接参照抽出、残りは GROBID で PDF から抽出、参照 44,107,529 件)、bioRxiv(261,928 プレプリント、プラットフォーム内製処理による XML 形式引用レコード 21,183,111 件)、SSRN(421,698 プレプリント、Crossref 経由のメタデータで参照 26,815,043 件)、PMC(2020〜2025 年の 10% ランダムサンプル 374,807 論文、参照 19,245,787 件) - **比較・対照群**: 出版時期・科学分野をマッチさせた対照論文群。著者生産性分析では代替の著者位置・生産性指標・対照群構築を用いた頑健性検証も実施(SI S3.3) - **評価指標**: ハルシネーション率(%、回帰係数ベース)、月次ハルシネーション引用の絶対数、論文単位の unmatched 参照比率の分布変化(パーセンテージポイント)、LLM 使用強度との Pearson 相関係数 ## 実験結果 ### ハルシネーション引用の急増と分布(Figure 1) - 2025 年 8 月時点のハルシネーション率: arXiv 0.39%・bioRxiv 0.21%・SSRN 1.91%・PMC 0.27%。急伸の開始は 2024 年半ば(ChatGPT 初期リリースから約 18 か月遅れ) - 2025 年単年の推定ハルシネーション引用数(月次推定を年末まで外挿): arXiv 3,353 件/月・bioRxiv 478 件/月・SSRN 767 件/月・PMC 8,140 件/月相当で、4 コーパス合計 146,932 件 - 論文単位では「少数の重度汚染論文」ではなく「多数の論文への薄い拡散」パターンが支配的(50% 以上 unmatched の論文比率はほぼ横ばい: arXiv +0.102pp・bioRxiv +0.172pp・SSRN +2.016pp・PMC +0.018pp。一方 0〜10% unmatched の論文比率は arXiv +3.615pp・bioRxiv +1.462pp・SSRN +7.373pp・PMC +1.430pp) - 分野別では社会科学(Soc)・計算機科学(CS)でハルシネーション率が顕著に高く(Fig. 1i-j)、arXiv サブフィールド単位で推定 LLM 使用強度とハルシネーション率の相関は r=0.441(P<0.001、Fig. 1k)。論文レベルでも AI 支援執筆の言語的シグネチャが強いほどハルシネーション率が高い(Fig. 1l) **Figure 1: ハルシネーション引用の増加と分布** ![[_attachments/arxiv-2605.07723/fig01-hallucination-rise.png]] (Fig. 1a-d は 4 コーパスすべてでハルシネーション率が LLM 普及後に急増し、2024 年に立ち上がりが最も急であることを示す。e-h は論文単位の unmatched 比率分布の変化が「多数の論文への薄い拡散」であることを示す。i-j は分野別のハルシネーション率(2025 年時点、社会科学が最高)。k は arXiv サブフィールド単位で推定 LLM 使用強度とハルシネーション率が相関(r=0.441, P<0.001)することを示す。l は論文レベルで AI 支援執筆の言語的シグネチャが強いほどハルシネーション率が高いことを示す。Source: Fig. 1.) ### ハルシネーション引用の発信者と受益者(Figure 2) - ハルシネーション引用を出す著者(hallucination citers)は 2022 年以前、対照群より論文数が少なかった(arXiv 62.1% 少・bioRxiv 62.6% 少・SSRN 73.2% 少・PMC 27.4% 少)。既発表ゼロの著者比率も高い(arXiv 32.1%・bioRxiv 9.3%・SSRN 51.0%・PMC 3.7%) - 2025 年にはこの生産性格差がほぼ解消し、hallucination citers の相対的な論文数増加は arXiv 1.93 倍・bioRxiv 2.22 倍・SSRN 3.13 倍・PMC 1.33 倍(対照群比)に達した - ハルシネーション率はチーム規模が大きいほど急減する(Fig. 2b) - ハルシネーション引用中の著者名は実在の著者プロファイルに一致する確率が 22.2% 低いが、一致する場合は高生産性(68.8% 多い論文数)・高被引用(58.3% 多い被引用数)の著者に偏り、男性名の割合も 6.4 ポイント(相対 7.6%)高い - チームレベルでも、ハルシネーション引用が指す著者チームは小規模に偏り、筆頭著者より最終著者の方が生産性・影響力が高いという慣習的な著者順序階層が 12 ポイント弱い - ハルシネーションを含む論文中の**有効な**引用も、対照論文と比べて高生産性・高影響力の著者に偏る傾向がある(可視のハルシネーションは氷山の一角であり、LLM 推薦引用全体により広い信用の再配分が生じている可能性を示唆) **Figure 2: ハルシネーション引用の発信者と学術的功績の不平等な配分** ![[_attachments/arxiv-2605.07723/fig02-citers-and-credit.png]] (Fig. 2a は hallucination citers の生産性格差が 2023 年以前から 2025 年にかけて縮小したことを示す(×1.3〜×3.1)。b はチーム規模別の相対ハルシネーション率(単著・2 名チームで高い)。c はハルシネーション引用 vs 対照、co-cited 引用 vs 対照の差分(実在著者一致率・論文数・被引用数・男性名比率・チーム規模・著者順序階層)。Source: Fig. 2.) ### 既存の品質管理メカニズムの検知力(Figure 3) - arXiv モデレーションで却下された原稿(30,981 件)は、採択された原稿よりハルシネーション率が高い(2025 年 8 月時点 2.2%、採択原稿の 4.5 倍)。ただしハルシネーション引用の 78.8% はモデレーションを通過してプラットフォームに掲載される - bioRxiv プレプリントから PMC 掲載版への移行を追跡した 2,241 件のサンプルでは、プレプリント時点のハルシネーション引用の 85.3% が出版版にもそのまま残存 - PMC 論文をジャーナルの影響度十分位で層別すると、最下位・最上位十分位でハルシネーション率が顕著に高い・低いが、中間層には一貫した勾配がなく、比較的高インパクトなジャーナルも脆弱である - Google Scholar と突き合わせると、実在の論文にリンクできないにもかかわらず既に他論文の参照として登場する「citation-only entries」が 2024 年以降急増している(4 コーパス全てで再現) **Figure 3: 既存の防護策が検知できる範囲と漏出** ![[_attachments/arxiv-2605.07723/fig03-safeguards-leakage.png]] (Fig. 3a は arXiv モデレーションでの却下率別ハルシネーション率(挿入図)と、月次のハルシネーション引用の却下/採択内訳(2025 年)を示す。b は PMC 論文のジャーナル影響度十分位別ハルシネーション率(最下位・最上位で高低が顕著、中間は勾配なし)。c は Google Scholar 上で実在論文にリンクできないが既に被引用として登場する citation-only entries の比率が 2024 年以降急増していることを示す。Source: Fig. 3.) ## 考察 - 本研究は LLM ハルシネーションの実世界における初の大規模・分野横断監査であり、2024 年半ばに始まる急増を保守的に 146,932 件/2025年と推定した。推論モデルや検索拡張生成(RAG)の並行的発展にもかかわらず、データカットオフの 2025 年末時点まで頭打ちの兆候がない - 実在しない引用は「注意深く作成された学術著作では理論上ほぼゼロ確率で発生すべき誤り」であり、事実的な ground truth を持つ稀な検証対象である。コスト高な人間評価や、検証対象と同じバイアスを再導入しうる LLM ベース分類器に依存せずに済む - 汚染は個人の不注意という従来の語りではなく、**LLM が生産の参入障壁を大きく下げた研究者による、システムレベルの拡散的汚染**として捉えるべきだと論じる。汚染を生む著者の論文生産量自体も急増しており、その偏りは既に著名で主に男性の研究者に功績を集中させる - ハルシネーション引用は 2 つの経路で複利的に拡大しうる: (1) 引用は経路依存的であり、著者や自動化ツールが先行文献リストを踏襲するため、Google Scholar 分析が示すように既に書誌インフラに組み込まれつつある。(2) LLM は同じオープンアクセスコーパスで訓練されるため、今日のハルシネーションが明日のモデルに学習されるフィードバックループが生じうる - **限界**: パイプラインはニッチな会場や数式主体の文書で偽陰性を生みうる。タイトルを引用規範に含まない分野ではカバレッジが限定的。LLM が実在するタイトルに誤ったメタデータを付与するケースは偽陽性になりうるが、既存推定では相対的に軽微とされる。より根本的には、実在する引用が実際には支持しない主張を裏付けに使う「誤引用」型のハルシネーションはより検知困難で未解決の課題として残る - 科学は索引システム・書誌データベース・引用規範・査読という点でハルシネーション検知の最良ケースの領域である。それでもなお誤りが記録に入り込み、プレプリントから出版へと持続し、経路依存的な引用ネットワークとモデル訓練ループを通じて複利化する。政府報告書・法律文書・臨床記録・企業ナレッジベース・報道など、比較可能な検証インフラを欠く領域では、同種の誤りはより高頻度・検知困難・是正されにくいと推測される ## 強み / 弱点・課題 **強み**: - 4 つの独立した大規模コーパス(異なる分野・出版形式・引用パースィング手法)を横断した点で、単一分野・単一プラットフォームの先行研究より一般化可能な証拠を提示 - LLM 登場前の unmatched 率をベースラインとして差し引く設計により、個別ハルシネーション分類に依存せず保守的な population-level 推定を可能にした - ハルシネーションの発生者・受益者・防護策の突破という 3 つの軸を単一の枠組みで統合的に分析した **弱点・課題**: - 数式主体の文書やニッチな会場、タイトルを引用規範に含まない分野ではパイプラインのカバレッジが限定的(著者らも認める偽陰性リスク) - 検知対象は「実在しないタイトル」に限定されており、より広範で検知困難な「誤引用(実在する引用の内容誤読)」型ハルシネーションは対象外 - ハルシネーション率の推定は保守的な下限であり、真の有病率はより高い可能性が高いと著者ら自身が明記している