@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin

# Deep Speech 2: End-to-End Speech Recognition in English and Mandarin > [!abstract] 概要 > 30papers が、接続時系列分類(Connectionist Temporal Classification; CTC)で学習し、英語と中国語という大きく異なる二言語に対応したエンドツーエンド音声認識システムとして選んだ論文の案内ページである。30papersの選定理由を記録し、モデル、データ、分散学習、オンライン配備に関する主張はarXiv原典で照合した。(Source: [[.raw/articles/30papers-deep-speech-2-2026-07-28]]; [30papers](https://30papers.com/papers/deep-speech-2/); [arXiv](https://arxiv.org/abs/1512.02595)) ![[_attachments/30papers-deep-speech-2/fig01-paper-first-page.webp]] 30papers が代表画像として掲載するarXiv論文の第1ページ。Baidu Research – Silicon Valley AI Labの著者一覧、要旨、著者順がアルファベット順であるという注記を確認できる。(Source: [30papers](https://30papers.com/papers/deep-speech-2/)) ## ソース情報 - **30papers 掲載名**: Deep Speech 2: End-to-End Speech Recognition in English and Mandarin - **30papers 上の著者表記**: Amodei, Anubhai, and others (Baidu) - **30papers 上の年**: 2015 - **30papers の位置づけ**: CTCで学習し、英語と中国語という大きく異なる二言語で動作したエンドツーエンド音声認識システム - **原典**: [arXiv:1512.02595](https://arxiv.org/abs/1512.02595) - **提出日**: 2015-12-08 - **所属**: [[Baidu]] Research – Silicon Valley AI Lab - **著者順**: アルファベット順 - **代表著者**: [[Dario Amodei]]、[[Rishita Anubhai]] 原典の著者は Dario Amodei、Rishita Anubhai、Eric Battenberg、Carl Case、Jared Casper、Bryan Catanzaro、Jingdong Chen、Mike Chrzanowski、Adam Coates、Greg Diamos、Erich Elsen、Jesse Engel、Linxi Fan、Christopher Fougner、Tony Han、Awni Hannun、Billy Jun、Patrick LeGresley、Libby Lin、Sharan Narang、Andrew Ng、Sherjil Ozair、Ryan Prenger、Jonathan Raiman、Sanjeev Satheesh、David Seetapun、Shubho Sengupta、Yi Wang、Zhiqian Wang、Chong Wang、Bo Xiao、Dani Yogatama、Jun Zhan、Zhenyao Zhuの34名である。(Source: [arXiv](https://arxiv.org/abs/1512.02595)) ## 問題設定従来の自動音声認識は、特徴抽出、音響モデル、言語モデル、発音モデル、話者適応など、多数の手設計部品を個別に構築・調整する必要があった。環境や言語を変えると各部品が一般化せず、用途別のシステムを保守する負担が生じる。Deep Speech 2は、スペクトログラムから文字列への写像を一つの深層ネットワークで学習し、言語固有の部品を減らすことを目標とした。(Source: [原典 §1](https://arxiv.org/pdf/1512.02595)) ただし、ここでいう「エンドツーエンド」は推論全体が単一ニューラルネットワークだけで完結するという意味ではない。CTCネットワークの出力は、外部テキストで学習した5-gram言語モデルとビームサーチで復号する。英語ではCommon Crawlの2億5000万行から約8億5000万n-gram、中国語では内部テキスト80億行から約20億n-gramを構築した。(Source: [原典 §3.8](https://arxiv.org/pdf/1512.02595)) ## モデル入力は音声を正規化したパワースペクトログラムであり、出力はCTCのblankを含む文字確率である。英語はアルファベット、空白、アポストロフィ、中国語は簡体字を中心とする約6000文字を直接出力する。中国語では発音辞書や声調の明示的モデルを作らず、文字列への写像を同じ枠組みで学習した。(Source: [原典 §3.1, §3.9](https://arxiv.org/pdf/1512.02595)) モデルは1〜3層の畳み込み、1〜7層の双方向または単方向再帰層、全結合層、CTC出力層からなる。英語の最高精度モデルは3層の2次元畳み込み、7層の双方向単純RNN、全結合出力層を含む11層、約1億パラメータである。畳み込みは時間と周波数の局所的な変動を扱い、再帰層は発話中の時間依存を扱う。(Source: [原典 §3, §6.1](https://arxiv.org/pdf/1512.02595)) 固定パラメータ数ではGRUが単純RNNを上回ったが、モデルを約1億パラメータまで拡大し計算予算を揃えると、7層の単純RNNが3層GRUをわずかに上回った。ゲート機構の有無だけでなく、深さ、幅、計算効率を同時に比較する必要がある結果である。(Source: [原典 §3.4, §6.1.1, 表3・11](https://arxiv.org/pdf/1512.02595)) ## 最適化深いRNNでは系列単位のバッチ正規化を用い、ミニバッチ内の全時刻から統計量を計算した。7再帰層モデルではバッチ正規化が開発集合WERを10.83%から9.52%へ改善した一方、最浅モデルでは悪化した。深さに応じて最適化手法の効果が変わる。(Source: [原典 §3.2, 表1](https://arxiv.org/pdf/1512.02595)) SortaGradは、最初の訓練エポックだけ発話長の短いミニバッチから順に提示し、以後はランダム順へ戻すカリキュラム学習である。長い発話はCTC損失と勾配が大きくなりやすいため、初期段階の数値的不安定性を抑える。バッチ正規化との併用でも安定性が向上した。(Source: [原典 §3.3](https://arxiv.org/pdf/1512.02595)) 英語では畳み込みのストライドを大きくするとCTCが必要とする出力時刻数を確保できなくなるため、非重複の二文字組を出力単位へ加えた。文字列を短くすることでストライド3〜4でも精度を保ち、再帰計算とメモリ使用量を削減した。(Source: [原典 §3.6, 表5](https://arxiv.org/pdf/1512.02595)) ## データ英語モデルは11940時間・800万発話、中国語モデルは9400時間・1100万発話で学習した。長い録音と雑音を含む書き起こしから、既存CTC-RNNによる整列、無音区間での分割、線形分類器による誤整列除去を行った。英語の内部データでは、この処理がWERを17%から5%へ下げつつ、50%超の例を保持した。(Source: [原典 §5, §5.1, 表9](https://arxiv.org/pdf/1512.02595)) 訓練発話の40%へ雑音を加え、雑音・遠距離・アクセントなどの条件に対する頑健性を高めた。英語データを120時間から12000時間へ10倍ずつ増やすと、通常・雑音開発集合の双方でWERが約40%ずつ相対改善する冪乗的傾向が観測された。(Source: [原典 §5.2–5.3, 表10](https://arxiv.org/pdf/1512.02595)) ## 分散学習訓練には8基または16基のGPUを用いる同期データ並列SGDを採用した。独自のring all-reduceはGPUメモリ間の不要なCPUコピーを避け、GPUDirectとPCIスイッチ構成を利用する。8〜16基の通常構成ではOpenMPIのall-reduceを直接使う場合より訓練全体を2.5倍高速化し、16GPUで約50 teraFLOP/s、GPU当たり理論ピークの約50%を維持した。(Source: [原典 §4.1, Appendix A.1](https://arxiv.org/pdf/1512.02595)) CTC損失をCPUからGPUへ移し、英語で28.9倍、中国語で12.5倍高速化した。1エポック当たり英語で約95分、中国語で約25分を削減し、訓練全体を10〜20%短縮した。可変長発話の大きな活性領域には独自のbuddy方式メモリアロケータを用い、GPUメモリ不足時はページ固定CPUメモリへ退避して異常終了を避けた。(Source: [原典 §4.2–4.3, 表8](https://arxiv.org/pdf/1512.02595)) これらの高性能計算技術により、Deep Speech 1比で学習を7倍高速化し、単一GPUで3〜6週間かかる規模の実験を3〜5日へ短縮した。モデル精度だけでなく、仮説を試す反復速度を研究成果の条件として扱っている。(Source: [原典 Abstract, §1](https://arxiv.org/pdf/1512.02595)) ## 精度内部Baidu英語テスト集合では、Deep Speech 1のWER 24.01%に対しDeep Speech 2は13.59%で、43.4%の相対改善だった。清浄な読み上げ音声では4テスト集合中3つでMechanical Turk作業者を上回り、残るLibriSpeech test-otherではDS2 13.25%、人間12.69%だった。(Source: [原典 §6.1.1–6.1.2, 表12・13](https://arxiv.org/pdf/1512.02595)) 一方、アクセント音声ではIndianを除く3群で人間との差が残り、雑音音声ではCHiME実雑音でDS2 21.79%、人間11.84%、合成雑音で45.05%対31.33%だった。「人間並み」は清浄な読み上げや短い中国語音声など一部条件に限られ、あらゆる音声条件を意味しない。(Source: [原典 §6.1.3–6.1.4, 表14・15](https://arxiv.org/pdf/1512.02595)) 中国語の内部短発話では、100発話を5人で共同転記した誤り率4.0%に対してシステム3.7%、250発話を単独転記した人間9.7%に対してシステム5.7%だった。ただし内部データの小規模比較であり、一般的な中国語音声認識全体への外挿には注意が必要である。(Source: [原典 §6.2](https://arxiv.org/pdf/1512.02595)) ## オンライン配備最高精度の双方向RNNは発話全体を待つ必要があるため、配備版は5層の単方向RNN、将来19時刻分を集約するrow convolution、全結合層へ置き換えた。さらに16ビット浮動小数点演算、狭いビームへの枝刈り、GPU上で複数利用者の要求を即時バッチ化するBatch Dispatchを組み合わせた。中国語の言語モデル参照は150倍高速化し、CERは研究版5.81%から配備版6.10%への5%相対悪化に抑えた。(Source: [原典 §7.1–7.4](https://arxiv.org/pdf/1512.02595)) Batch Dispatchは前バッチの完了時点で待機中の要求を直ちに処理し、バッチを大きくするための待機を行わない。計算効率の最大化より利用者レイテンシを優先する方針であり、10同時ストリーム時に中央値44ms、98パーセンタイル70msを報告した。この値は発話終了から転記生成までの計算時間であり、ネットワーク伝送や発話開始からの時間を含まない。(Source: [原典 §7, §7.1, 図6](https://arxiv.org/pdf/1512.02595)) > [!contradiction] 配備レイテンシの記載差 > 原典§1は10同時ストリーム時の98パーセンタイル計算レイテンシを67msと記載する一方、§7.1と図6付近の本文は70msと記載する。測定の丸めまたは版内の更新差と考えられるが、根拠は明示されていないため両値を保持する。(Source: [原典 §1, §7.1](https://arxiv.org/pdf/1512.02595)) ## 評価 ### 強み - モデル、データ、分散学習、オンライン配備を一つの音声認識システムとして評価した点 - 英語と中国語で同じCTC中心の構成を使い、言語移植に必要な手設計部品を減らした点 - 清浄・アクセント・雑音・複数言語・実運用レイテンシまで評価範囲を広げた点 - 高性能計算による実験反復速度を、アーキテクチャ探索を可能にする研究上の要因として定量化した点 ### 限界 - 「エンドツーエンド」でも復号時には外部5-gram言語モデルとビームサーチを用いる。 - 人間比較はMechanical Turkの2転記のうち良い方や、小規模な内部中国語集合に基づく。 - 中国語の主要評価集合、英語11940時間中8600時間、配備環境の多くはBaidu内部データ・基盤であり、完全な外部再現は難しい。 - 双方向の最高精度モデルと単方向の配備モデルは異なり、精度・レイテンシの結果を同一モデルとして読めない。 ## 関連 - システム: [[Deep Speech 2]] - 人物: [[Dario Amodei]]、[[Rishita Anubhai]] - 組織: [[Baidu]]、[[NVIDIA]] - モデル: [[RNN]]、[[LSTM]]、[[畳み込みニューラルネットワーク]] - システム技術: [[集合通信]] - 規模と計算の比較: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] ## 出典 - [[.raw/articles/30papers-deep-speech-2-2026-07-28]] - [30papers: Deep Speech 2](https://30papers.com/papers/deep-speech-2/) - [arXiv abstract](https://arxiv.org/abs/1512.02595) - [arXiv PDF](https://arxiv.org/pdf/1512.02595)