# 状態空間モデル ## 定義 状態空間モデル（State Space Model; SSM）は、固定次元の潜在状態ベクトルを通じて系列データを処理するモデルクラスであり、制御理論の状態空間表現に起源を持つ。深層学習文脈では [[RNN]] の一般化として位置づけられ、状態遷移を連続時間微分方程式や選択的なゲーティング機構で記述する。Mamba、RWKV などが代表的な実装例である。訓練時は畳み込みとして並列計算でき、推論時は RNN として定メモリ・定計算量で動作するという二元性を持つ。(Source: [[joisino-トランスフォーマーはRNN-2024]]) ## 横断的知見 - [[joisino-トランスフォーマーはRNN-2024]] は Transformer と RNN のスペクトル的連続性を論じており、状態空間モデルはそのスペクトルの「低次元・高圧縮」側に位置づけられる。有限次元カーネル近似という観点からは、状態空間モデルは[[線形注意]]の実装形態の一種と捉えられる。 - 記事が引用する「On the Tradeoffs of State Space Models」はデータの離散性・連続性に基づいて圧縮度合いを決める設計指針を示している。テキストは高次元（通常の Transformer）、動画・音声は低次元（状態空間モデル）が適するとされる。(Source: [[joisino-トランスフォーマーはRNN-2024]]) ## 未解決の問い - Mamba、RWKV それぞれが採用するカーネル近似の形式と、通常の Transformer に対する性能劣化の実態はどの程度か。 - テキスト処理では Transformer の無限次元状態が有利とされるが、どの系列長・タスク特性から状態空間モデルが逆転優位になるか。 ## 関連 - [[RNN]] — 状態空間モデルの一般化として位置づけられる先 - [[Transformer]] — 状態空間モデルが近似しようとする高性能モデル - [[線形注意]] — 状態空間モデルと関係する有限次元カーネルのアプローチ - [[カーネル法]] — 状態空間モデルを Transformer と統一的に記述するフレームワーク ## 出典 - [[joisino-トランスフォーマーはRNN-2024]]（§「トランスフォーマーは RNN である（再々）」）