# AIのモデル崩壊と多様性 [[佐藤竜馬]]（joisino）による 2026-06-22 公開のブログ記事。AI が生成したコンテンツがウェブに蓄積し、次世代モデルの訓練データを汚染するサイクルが「多様性の喪失」をもたらすことを、数理的・社会的の両面から論じる。 ## 核心的主張 AI 生成データの反復訓練は **分布の収縮** を引き起こす。特定の表現が訓練から一度消えると復活しないため、多様性は世代を重ねるごとに失われる。この問題は「品質向上」に見えるベンチマーク改善を伴いながら進行するため、検出が難しい。 ## モデル崩壊のメカニズム ### 反復訓練による情報希薄化 N 個のデータで第一世代を訓練し、その出力 N 個で第二世代を訓練するサイクルでは、確率的に低頻度な表現が一度サンプルされないと永久に消失する。数学的には訓練分布が真の分布の **凸包の内側に向かって収縮** する。 ### デコーディングによる多様性喪失 貪欲デコーディングは最高確率トークンのみを生成するため、真の分布を過度に平準化する。記事の例: 関西弁が自然な分布で 15% 存在していても、貪欲デコーディングでは 0% になりうる。 ### フィルタリングによるマイノリティ淘汰 品質フィルタリングは「80 点の無難さ > 79 点の奇抜さ」という判定を繰り返すことで、境界値付近のマイノリティ表現を系統的に除去する。ベンチマーク指標は改善しながら多様性は失われる逆説が生じる。 ## 数理的分析（π²/6 の原理） 過去データを破棄せずに全世代分を累積することで、損失増加を **π²/6 ≈ 1.645 倍** に抑制できる（線形モデルでの理論証明）。直感: 無限等比数列の和 $\sum_{k=1}^{\infty} 1/k^2 = \pi^2/6$ が、各世代の情報劣化の上限を与える。 ただしこれはあくまで上界であり、実際のモデルやデータへの適用可能性は限定的。記事はこれを「多様性維持のための実践的方針」として位置づける。 ## 品質と多様性のトレードオフ > 「AI が 80 点の方法を 1 通り知るのに対し、人類は 100 通り知っている」 ベンチマーク上の同一スコアが、多様性の大きな格差を隠す可能性を指摘する。スケーリングによる品質向上と多様性維持は **必ずしも両立しない**。 ## 人間への二次効果 1. **語彙レベルの影響**（Yakura+ Max Planck 2024）: ChatGPT 登場後、「delve」などの「GPT 語」が人間の発話に有意増加した 2. **思考の中立化**（Abdulhai+ DeepMind 2026）: LLM 多用グループは中立的回答が 70% 増加 AI の多様性収縮 → 人間の思考・表現の均質化という **二段階カスケード** が起きうる。 ## 緩和策と限界 | 手段 | 効果 | 限界 | |------|------|------| | 過去データ累積 | 損失増加を π²/6 倍に抑制 | 無限にデータが必要 | | 多様プロンプト | 内在能力の引き出し | モデル容量の有限性で根本解決にならない | | 人間による創作 | 多様性の源泉を維持 | AI 利用拡大と逆行 | ## 著者の結論 現代モデルは「人類全体の多様性を内包するには小さすぎる」。スケーリングのみでは多様性問題は解決不可能であり、**人間がつくり続ける**ことが根本的な解決策であると主張する。 ## 引用研究 - Shumailov+ 2024（Nature）— モデル崩壊の中核論文 - 幡谷ら ICCV 2023（理研）— 実証研究 - Yakura+ 2024（Max Planck Institut für Informatik）— LLM が人間語彙に与える影響 - Abdulhai+ 2026（DeepMind）— LLM 多用による思考中立化 ## 関連ページ - [[モデル崩壊]] — 概念ページ（本記事から導出） - [[佐藤竜馬]] — 著者 - [[計算最適訓練]] — スケーリング則との対比 - [[joisino-人間を騙すAI-2025]] — 同著者、AI の誤誘導と人間評価者の問題 - [[joisino-超人的AIと認知不能情報-2025]] — 同著者、AI 能力の限界と人間による検証 - [[joisino-訓練データ1個推論性能倍-2025]] — 同著者、少量データによる訓練効率