# 文字レベル言語モデル ## 定義 文字レベル言語モデルは、過去の文字列 $c_1,\ldots,c_t$を条件として次文字$c_{t+1}$の確率分布を推定する自己回帰モデルである。単語分割や形態素解析を前提とせず、文字・空白・句読点・改行・記号を同じ語彙の要素として扱う。分布から1文字を標本化して次の入力へ戻す操作を反復すると、任意長のテキストを生成できる。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) ## 学習と生成 訓練文字列の各位置が1つの次文字予測例になる。[[RNN]]またはLSTMへ1-of-k表現の文字を順番に入力し、各時刻の出力へSoftmax交差エントロピー損失を適用する。同じ入力文字でも履歴によって正解が変わるため、隠れ状態が文脈の圧縮表現として働く。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) 生成時の温度は確率分布の鋭さを変える。低温では高確率の文字へ集中して保守的になるが反復しやすく、高温では多様になるが綴りや構文の誤りが増える。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) ## 獲得できる構造 文字単位の目的関数だけでも、十分なデータとモデル容量があれば次の構造が現れる。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) - 綴り、単語境界、句読法、改行 - 話者名と台詞、Markdown見出し・リンク、XMLやLaTeXの局所構文 - Cコードの字下げ、括弧、文字列、コメント - URL内外、引用符内外、行内位置などに応答する内部状態 ただし、外形の再現は意味理解や長距離整合性を保証しない。実在しないURL、対応しないLaTeX環境、未定義変数、型の不整合などが生成され、依存距離が長いほど誤りやすい。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) ## 横断的知見 - **自己回帰目的はアーキテクチャと語彙単位を越えて継承された**: 2015年の文字レベルLSTMと2018年のGPT-1は、いずれも過去のトークンから次トークンを予測する。同じ目的関数が、前者では小規模コーパスから局所構文を生成する教育的実験、後者ではBPE語彙・Transformer・BooksCorpusによる汎用表現の事前学習と下流転移へ使われた。目的関数の連続性に対し、語彙単位・アーキテクチャ・評価目標が変化した。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) - **RNN対Transformerという世代交代は、計算様式の完全な断絶ではない**: GPT-1は長距離依存と転移性能でLSTMを上回ったが、線形注意を固定次元状態の更新として書けばTransformerもRNN形式へ変換できる。文字レベルRNNが示した「状態を更新しながら次トークンを予測する」という見方は、状態表現の形式を変えて後続モデルにも残る。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[joisino-トランスフォーマーはRNN-2024]], [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]) - **表面的構文の説得力と意味的正しさの分離は後続の生成モデルにも通じる**: 文字レベルLSTMは文字列の局所統計だけで、Wikipedia・LaTeX・Cコードらしい外形を生成した一方、実在性や変数整合性を保証しなかった。GPT-1が下流転移を明示的な評価タスクで測ったことは、生成例のもっともらしさからタスク性能へ評価軸を移したものと捉えられる。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) ## 未解決の問い - 文字・バイト・サブワードのどの単位が、多言語テキスト、コード、綴り揺れの多いデータで最良の性能と効率を両立するか。 - 固定次元の再帰状態で長距離の意味・変数・入れ子構造を保持するには、どの容量と学習機構が必要か。 - URL内外や引用符内外に反応する単一セルの定性的解釈は、介入実験による因果的な説明へどこまで発展できるか。 - 温度による多様性と誤りのトレードオフを、構文・意味・事実性ごとに分離して制御できるか。 ## 関連 - [[RNN]] — 履歴を固定次元状態へ圧縮する系列モデル - [[Transformer]] — 後続の主要な自己回帰言語モデルアーキテクチャ - [[言語モデル事前学習]] — 次トークン予測を汎用表現と下流転移へ発展させた系譜 - [[char-rnn]] — 代表的な文字レベルLSTM実装 ## 出典 - [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]] - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - [[joisino-トランスフォーマーはRNN-2024]]