# LAS 音声波形の特徴ベクトルを入力、書き起こし文字列を出力として、end-to-endで学習できる音声認識モデル。従来の音声認識で使われていた音素を経由せず、直接文字を出力する。ListenerとSpellerの2つのモデルから構成される。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.2) ## Listener 入力$x$から特徴量$h$を求めるモデルであり、内部でピラミッド双方向LSTM(pyramid BLSTM、pBLSTM、下の層の2ステップが上の層の1ステップに対応)を用いる。LASでは3層のpBLSTMを利用し、入力長$T$に対し最終的な系列長は$U=T/2^3=T/8$となる。系列長を短くすることで各状態の受容野が広がり(10秒・$T=1000$の入力に対し$U=125$、各$h_i$が約80ミリ秒の入力範囲に対応)、後段の注意機構の処理が容易になる。 ## Speller Listenerの出力$h$を使って出力$y$の確率分布を計算する自己回帰デコーダ。現在の状態$s_i$と$h$から加法的注意機構(AttentionContext)で背景ベクトル$c_i$を求め、直前の背景ベクトル・状態・生成文字からRNNで次状態$s_i$を計算し、$s_i$と$c_i$から次の文字の確率分布を決定する。 ## 学習と推論 学習時は正解系列に、推論時は自身の予測に条件づけて生成しなければならないという分布の不一致(Exposure Bias)に対応するため、学習時に90%は正解系列から、10%はモデルの予測分布からサンプリングする。推論では各状態がそれまでのすべての状態・入力に依存し動的計画法(ビタビ復号化)が使えないため、ビームサーチで近似解を求め、言語モデルによるリランキングも精度向上に使われる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.2) ## 関連 - 概念: [[音声認識]] / [[注意機構]] / [[LSTM]] - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.2.