# Deep Speech 2 ## 定義 Deep Speech 2(DS2)は、Baidu Researchが2015年に発表したエンドツーエンド自動音声認識システムである。音声スペクトログラムを深い畳み込み・再帰ネットワークへ入力し、接続時系列分類(Connectionist Temporal Classification; CTC)で英語または中国語の文字列へ直接学習する。モデルだけでなく、大規模データ、GPU分散学習、オンライン配備を一体化したシステムである。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## モデル構成 基本構成は、1〜3層の時間または時間・周波数畳み込み、1〜7層の双方向・単方向単純[[RNN]]またはGRU、全結合層、CTC出力層からなる。英語の最高精度モデルは3層の2次元畳み込み、7層の双方向単純RNN、全結合出力層を含む11層・約1億パラメータである。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) 英語はアルファベット、空白、アポストロフィ、blank、中国語は簡体字を中心とする約6000文字を出力する。中国語では発音辞書や声調を明示的にモデル化せず、英語とほぼ同じアーキテクチャを用いる。英語では大きい時間ストライドを使うため、非重複二文字組を出力単位に加えてCTCが必要とする時刻数を減らした。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## 訓練 英語は11940時間・800万発話、中国語は9400時間・1100万発話で学習した。発話の40%へ雑音を加え、アクセント、遠距離、背景雑音を含む条件へ対応する。英語データ量を10倍にするたび、通常・雑音開発集合のWERが約40%ずつ相対改善する傾向を報告した。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) 深いRNNの最適化には系列単位のバッチ正規化とSortaGradを用いる。SortaGradは最初の1エポックだけ短い発話から長い発話へ順番に提示し、初期の数値的不安定性を緩和する。その後はランダム順へ戻すため、長さ順を固定するカリキュラムではない。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## 分散学習 8基または16基のGPUで同期データ並列SGDを実行する。独自ring all-reduce、GPU版CTC、CPU・GPU用の専用メモリアロケータ、GPUDirectを用いる計算ノードにより、16GPUで約50 teraFLOP/sを維持した。Deep Speech 1比7倍の高速化により、単一GPUでは3〜6週間かかる規模の訓練を3〜5日へ短縮した。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## エンドツーエンド性 DS2は特徴抽出・音響モデル・発音モデルなどの多数の手設計部品を、音声から文字確率を学ぶ単一ネットワークへ統合する。ただし最終復号では外部5-gram言語モデルとビームサーチを使う。このため「エンドツーエンド」は、入力から最終転記まで全てを一つの学習済みニューラルネットワークだけで処理するという強い意味ではなく、音響系列から文字列への学習を一体化したという意味である。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## オンライン配備 最高精度の双方向RNNは発話全体を必要とするため、配備版は5層の単方向RNN、row convolution、全結合層へ置き換える。Batch Dispatchで複数利用者の要求をGPUバッチへ即時集約し、半精度演算と中国語ビームサーチの枝刈りを加えた。研究版CER 5.81%に対し配備版6.10%で、5%の相対悪化と引き換えに低レイテンシ化した。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]]) ## 横断的知見 - AlexNetは2基のGPU、データ拡張、ReLU、ドロップアウトを協調設計して大規模画像分類を実用化した。Deep Speech 2は同じ「データ・大容量モデル・GPUシステム」の組み合わせを音声認識へ拡張し、8〜16GPUのring all-reduce、GPU版CTC、専用メモリアロケータまで研究成果に含めた。両者を並べると、初期の深層学習の飛躍はモデル式だけでなく、実験を数日で反復できる計算システムとの協調設計に依存していたことが分かる。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]], [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) - LSTM解説はゲート機構が長期依存と勾配伝播を助けると説明する。一方、Deep Speech 2は固定パラメータ数ではGRUが単純RNNを上回るものの、約1億パラメータかつ固定計算予算では深い単純RNNがGRUをわずかに上回ると報告した。系列モデルの選択は記憶機構の表現力だけでなく、深さ・幅・GPU上の計算効率を含むシステム条件で変わる。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]], [[@2026__30papers__Understanding LSTM Networks]]) - AlexNetがILSVRCの単一評価だけでなく複数モデルのアンサンブルを用いたのに対し、Deep Speech 2は清浄・アクセント・実雑音・合成雑音・英語・中国語・配備レイテンシを分けて評価した。人間を上回るという主張は条件依存であり、システム能力は評価集合を分解して読む必要がある。(Source: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]], [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 未解決の問い - 外部n-gram言語モデルを除いたCTCネットワーク単体で、英語・中国語の精度と頑健性はどこまで維持できるか。 - データ量10倍ごとの約40%相対改善は、話者・雑音・マイクなど文脈の多様性を固定しても成立するか。 - SortaGradの効果はCTC固有の長さ依存によるものか、注意機構やトランスデューサなど他の系列損失にも一般化するか。 - 配備版の単方向RNNとrow convolutionは、双方向モデルとの5%相対精度差を保ったまま発話途中の逐次転記へ拡張できるか。 - 原典§1の98パーセンタイル67msと§7.1の70msの差は、測定条件・丸め・原稿更新のどれに由来するか。 ## 関連 - 原典案内: [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]] - 人物: [[Dario Amodei]]、[[Rishita Anubhai]] - 組織: [[Baidu]] - モデル: [[RNN]]、[[LSTM]] - 分散学習: [[集合通信]] - システム協調設計の比較: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] ## 出典 - [[@2026__30papers__Deep Speech 2 End-to-End Speech Recognition in English and Mandarin]] - [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] - [[@2026__30papers__Understanding LSTM Networks]]