状態空間モデル - yuuk1's Digital Garden

# 状態空間モデル ## 定義状態空間モデル（State Space Model; SSM）は、固定次元の潜在状態ベクトルを通じて系列データを処理するモデルクラスであり、制御理論の状態空間表現に起源を持つ。深層学習文脈では [[RNN]] の一般化として位置づけられ、状態遷移を連続時間微分方程式や選択的なゲーティング機構で記述する。Mamba、RWKV などが代表的な実装例である。訓練時は畳み込みとして並列計算でき、推論時は RNN として定メモリ・定計算量で動作するという二元性を持つ。(Source: [[joisino-トランスフォーマーはRNN-2024]]) ## 制御理論における状態空間モデル制御理論(離散時間・線形時不変系)における状態空間モデルは、制御入力 $u(k)$・測定出力 $y(k)$ に加えて内部状態ベクトル $x(k)$ を明示的に持ち、状態方程式 $x(k+1)=Ax(k)+Bu(k)$ と出力方程式 $y(k)=Cx(k)$ の2式でシステムの動特性を記述する。$x(k)$ は $n\times1$、$A$ は $n\times n$、$B$ は $n\times m_I$、$C$ は $m_O\times n$($m_I$・$m_O$ は入力数・出力数)。状態変数は必ずしも測定出力ではなく、直接測定可能である必要もない。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.1, §7.2) 伝達関数モデル(SISO・入出力関係のみを記述)に対する状態空間モデルの最大の利点は、MIMO(多入力多出力)システムをスケーラブルに扱えることにある。$m_I$ 入力・$m_O$ 出力の系を伝達関数モデルで表すには $m_I \times m_O$ 個の伝達関数が必要だが、状態空間モデルは常に2本の式で済む。両モデルは相互変換でき、nth-order ARXモデル(伝達関数の差分方程式表現)は制御標準形(control canonical form)により機械的に状態空間モデルへ変換できる。逆に、状態空間モデルから伝達関数行列 $G(z)=C(zI-A)^{-1}B$(初期条件0での $Y(z)=G(z)U(z)$)を求めることもできる。極は両モデルで共通の概念で、状態空間モデルでは $A$ 行列の固有値(特性方程式 $\det(zI-A)=0$ の解)として現れ、BIBO安定性・定常ゲイン・支配極解析による整定時間の計算は伝達関数モデルとほぼ同じ手法が使える。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.2, §7.4, §7.5, §7.7) 状態空間モデルに固有の性質として、可制御性(controllability)と可観測性(observability)がある。可制御性は、任意の到達可能な最終状態に有限個の入力列でシステムを到達させられるかを問う性質で、可制御性行列 $\mathcal{C}=[A^{n-1}B\ \cdots\ AB\ B]$ の正則性(多入力系では $\mathrm{rank}(\mathcal{C})=n$)で判定する。可観測性は、測定出力の系列から内部状態を一意に復元できるかを問う性質で、可観測性行列 $\mathcal{O}$(各行が $CA^{i}$)の正則性で判定する。いずれも伝達関数モデルには対応物のない、状態空間表現に固有の解析軸である。理論上は正則(可制御・可観測)と判定されても、その行列がほぼ特異(ill-conditioned)だと、実際には操作点から大きく外れた非現実的な入力・測定精度を要求することがある。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.6.2, §7.6.3) 計算機システムでの適用例として、Apache HTTP Server(制御入力: `KeepAlive`・`MaxClients`、測定出力: CPU・MEM)のMIMOシステム同定がある。両入力を互いに素な周期のサイン波で同時に変化させて単一のMIMOモデルを推定すると、個別のSISOモデルの組み合わせよりも予測精度・実現可能な定常出力域の推定の両方で優れることが実測で示された。もう一つの例はIBM Lotus Domino Serverで、センサ遅延を含む系を3次元の状態空間モデルとして構成し、可制御性行列がほぼ特異であることから、理論上は可制御でも実務上は非現実的な制御入力が要求されるケースを示す。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.6.2, §7.8.1, §7.8.2) ### 状態空間モデルに対する制御則の設計第7章が状態空間モデルの構造(モデリング側)にとどめたのに対し、状態空間モデルを実際にフィードバック制御するための制御則は次のように定式化される。最も単純な状態フィードバック制御則は $u(k)=-Kx(k)$(静的状態フィードバック)であり、比例制御を状態ベクトル全体に拡張したものにあたる。これを状態方程式に代入すると閉ループ系は $x(k+1)=(A-BK)x(k)$ となり、閉ループ極は行列 $A-BK$ の固有値として現れる。ゲイン行列 $K$ の選び方によって $A-BK$ の固有値配置(すなわち閉ループ極の配置)をどこまで自由に動かせるかは、系の可制御性に依存する(可制御であれば任意配置が可能になるという保証の詳細は[[極配置設計]]を参照)。ただし静的状態フィードバックは操作点への回帰(定値制御)のみを目的とし、参照入力を持たない。参照追従を可能にするには、状態のオフセットを再定義するprecompensator(前置補償器)$N$ を加えた制御則 $u(k)=-Kx(k)+Nr$ を用いる。precompensatorは閉ループ極($A-BK$の固有値)自体には影響を与えず、定常状態の出力を参照値に一致させる調整のみを行う。もっとも、precompensatorを加えた静的アーキテクチャは外乱抑制が弱い。これを補うのが動的状態フィードバックで、制御誤差の積分を新たな状態変数 $x_I(k)$ として状態ベクトルに加え($x_I(k+1)=x_I(k)+e(k)$、$e(k)=r-y(k)$)、拡張状態に対する制御則 $u(k)=-[K_P\ K_I][x(k)^\top, x_I(k)]^\top$ を用いる。これはSISO系のPI制御を状態空間へ一般化したものであり、参照追従と外乱抑制の両方を実現するが、$x_I$ の動特性が加わる分だけ整定時間は長くなりやすい。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 10 State-Space Feedback Control]] §10.2.1, §10.2.2, §10.2.3, §10.2.4) ## 横断的知見 - [[joisino-トランスフォーマーはRNN-2024]] は Transformer と RNN のスペクトル的連続性を論じており、状態空間モデルはそのスペクトルの「低次元・高圧縮」側に位置づけられる。有限次元カーネル近似という観点からは、状態空間モデルは[[線形注意]]の実装形態の一種と捉えられる。 - 記事が引用する「On the Tradeoffs of State Space Models」はデータの離散性・連続性に基づいて圧縮度合いを決める設計指針を示している。テキストは高次元（通常の Transformer）、動画・音声は低次元（状態空間モデル）が適するとされる。(Source: [[joisino-トランスフォーマーはRNN-2024]]) - **SSM は長文脈を安く処理できても、任意位置の高解像度検索では弱点が出る**: PLaMo 2 は Samba ベース構成で Mamba と SWA を組み合わせたが、Phonebook / Passkey Retrieval では SWA ウィンドウを越える情報検索が破綻した。さらに Falcon3-Mamba-7B-Instruct は Passkey Retrieval では成功する一方、Phonebook では短い文脈でも性能が低く、著者らは SSM が固定長状態へ過去情報を圧縮するため任意位置の精密検索を苦手とすると解釈する。(Source: [[@2025__arXiv__PLaMo 2 Technical Report]]) - 深層学習文脈の記述([[joisino-トランスフォーマーはRNN-2024]])は「状態空間モデルは制御理論の状態空間表現に起源を持つ」と述べるが、その制御理論側の起源([[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]])を見ると、固定次元の潜在状態への圧縮という深層学習側の性質は、制御理論の状態空間モデルが本来持つ「MIMOをスケーラブルに扱う」「可制御性・可観測性という状態そのものの到達可能性・復元可能性を問う」という側面とは異なる強調点を持つ。深層学習側で報告される「任意位置の高解像度検索の弱さ」(PLaMo 2 の Phonebook/Passkey 失敗)は、制御理論側の言葉で言えば可観測性(測定出力から内部状態を復元できるか)に近い問題設定だが、両分野でこの対応関係を明示的に論じた文献はまだ確認できていない。(Source: [[joisino-トランスフォーマーはRNN-2024]], [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]]) - 第7章のモデリング側と第10章の制御則側を突き合わせると、「可制御性」が両章をまたぐ橋渡し概念であることが分かる。第7章はIBM Lotus Domino Server(センサ遅延あり)を例に、理論上は可制御(可制御性行列が正則)でも、その行列がほぼ特異(ill-conditioned)だと実務上は非現実的な制御入力が要求される、というモデリング側の限界を示した。第10章の状態フィードバック制御則(静的・precompensator付き・動的)と極配置設計は、この可制御性が十分に「実質的」であることを暗黙の前提として組み立てられており、ほぼ特異な可制御性行列を持つ系に極配置設計やLQR設計を適用した場合にどのような実務上の困難が生じるかには触れていない。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.6.2, §7.8.2, [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 10 State-Space Feedback Control]] §10.2.1, §10.3.1) - Apache HTTP Serverについて、第7章は「SISO近似ではMIMOの真の相互作用(KeepAlive・MaxClientsがCPU・MEM双方に与える影響)を捉えられない」というモデリング上の限界を実測(SISOモデルの$R^2=0.78$に対しMIMOモデルの$R^2=0.92$)で示し、第10章はそのMIMO状態空間モデルを用いて実際に動的状態フィードバック制御系を設計し、極配置設計ではCPUの追従に失敗する一方でLQR設計では制御努力のコスト($R$行列)を調整することでCPU・MEM双方の追従を実測で達成した。同じ実例が「MIMOとしてモデル化する必要性」(第7章)から「MIMOとしてどう制御するか、その設計法の選択が実測性能を左右する」(第10章)へと一貫してつながっている。(Source: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] §7.8.1, [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 10 State-Space Feedback Control]] §10.5.1) - **LLM 効率化サーベイが LLM 向け SSM の連続時間定式化として提示する式 $x'(t)=Ax(t)+Bu(t)$、$y(t)=Cx(t)+Du(t)$ は、本ページが集約する制御理論の離散時間状態空間モデル $x(k+1)=Ax(k)+Bu(k)$、$y(k)=Cx(k)$ と構造的に同型であり、両分野が独立に同じ形式へ収束したことを裏付ける**: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]] は SSM を「単次元入力信号 $u(t)$ を N 次元潜在状態 $x(t)$ へ写像してから単次元出力信号 $y(t)$ へ射影する」ものと説明し、アテンションの二次計算量に対し系列長にほぼ線形な計算量を持つ利点を強調する。これは本ページが既に指摘してきた「深層学習の状態空間モデルは制御理論の状態空間表現に起源を持つ」という関係を、連続時間・離散時間という違いを除けば数式レベルで直接確認できる形で裏付ける一次資料であり、これまで「両分野を橋渡しする文献はまだ確認できていない」としてきた本ページの未解決の問いに、少なくとも定式化面での対応関係を与える。ただし LLM 文脈の SSM(S4・DSS・H3・GSS・Mamba)が可制御性・可観測性という制御理論固有の解析軸に言及することはなく、パラメータ $A,B,C,D$ は勾配降下で学習される点が制御理論の設計論(極配置・LQR)とは根本的に異なる。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]], [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]]) - **LLM 向け SSM は S4 → DSS → H3 → GSS → Block-State Transformer → Mamba という明確な改良系譜を持ち、いずれも「アテンションへの接近」または「計算効率のさらなる向上」のどちらかを動機とする**: S4(低ランク補正による安定対角化)から DSS(完全対角パラメータ化への単純化)への移行は計算効率の改善、H3(2つの SSM をスタックしてアテンションに近づける)・Block-State Transformer(SSM サブレイヤーと Transformer サブレイヤーのハイブリッド)はアテンションとの性能ギャップを埋める方向、Mamba(入力依存の選択機構 + ハードウェア対応並列アルゴリズム)は両方を同時に達成し Transformer 比 5 倍のスループットを報告する。本ページの「テキストは高次元(Transformer)、動画・音声は低次元(SSM)が適する」という設計指針(joisino 記事)を踏まえると、この系譜は「低次元表現のままテキストの高次元性にどこまで漸近できるか」を追求してきたとも読める。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]], [[joisino-トランスフォーマーはRNN-2024]]) - **LLM推論効率化サーベイ(Zhou+ 2024)はSSM系譜をHiPPO/LSSL→S4/DSS/S4D→S5/Liquid S4→Mamba という遷移行列$A$のパラメータ化・初期化の改善史として記述し、これは既に本ページが集約するTMLR survey(Efficient LLMs)のS4→DSS→H3→GSS→BST→Mambaという系譜と、対象は同じでも切り口が異なる**: Zhou+ 2024は「(1) $x_k=Ax_{k-1}+Bu_k, y_k=Cx_k$という離散時間の定式化を満たすか」「(2) HiPPO理論に基づき$A$を設計するか」という2条件でSSMを定義し、S4/DSS/S4D は$A$の対角化による高速化、S5 は単一パラメータ集合による全次元同時処理、Liquid S4/Mamba は入力依存パラメータ化という「$A$の設計技法」の系譜として整理する。一方TMLR surveyはH3・GSS・BSTのような「SSMをアテンションへ近づけるハイブリッド化」を主軸に系譜を語る。同じモデル群(S4・DSS・S5・Mamba)を指しながら、一方は数式的パラメータ化の改良、他方はアーキテクチャ的ハイブリッド化という異なる軸で系譜を切っており、両者は矛盾せず相補的である。加えてZhou+ 2024はJamba・DenseMamba・BlackMamba・MoE-Mambaという、TMLR surveyには現れないより新しいハイブリッド/MoE化の系譜も追加する。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]], [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.0 Model-level Optimization - Efficient Structure Design]]) - **Zhou+ 2024は表2の効率比較でMamba・RetNet・RWKVの訓練形式の違いを定量化しており、Mambaが「訓練=再帰」を選ぶのに対しRetNetは「訓練=Transformer的($O(n^2 d)$)」を保つという設計上の分岐を明示する**: 訓練計算量はMambaが$O(nd^2 \log n)$であるのに対しRetNetは$O(n^2 d)$のままだが、両者とも推論形式は再帰でデコーディング計算量は$O(d^2)$に揃う。これはSSM系(Mamba)と「その他の代替」系(RetNet)が推論時の効率目標(定数時間デコーディング)を共有しつつ、訓練時の並列化戦略では異なる設計を選んでいることを示す一次データであり、本ページが既に指摘する「Mambaはparallel scan技術で訓練並列性を確保する」という記述に、他アーキテクチャとの定量的な対比を加える。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.0 Model-level Optimization - Efficient Structure Design]]) ## 未解決の問い - Mamba、RWKV それぞれが採用するカーネル近似の形式と、通常の Transformer に対する性能劣化の実態はどの程度か。 - テキスト処理では Transformer の無限次元状態が有利とされるが、どの系列長・タスク特性から状態空間モデルが逆転優位になるか。 - SSM が苦手とする「高解像度検索」と、SSM が得意な「要約・圧縮」の境界を、Phonebook / Passkey 以外の実タスクでどう測るべきか。 - 深層学習の状態空間モデル(Mamba等)における「任意位置の高解像度検索の弱さ」は、制御理論の可観測性の欠如として定式化・診断できるか。両分野の状態空間モデルを橋渡しする文献はあるか。 - 制御理論の可制御性・可観測性に相当する概念は、深層学習の状態空間モデル(固定次元・非線形ゲーティング)にそのまま移植できるか、それとも別の形式が必要か。 - 制御理論側のほぼ特異(ill-conditioned)な可制御性行列を持つ系に対して、極配置設計・LQR設計は実務上どこまで有効か。第7章・第10章のいずれもこのケースを正面から扱っていない。 - LQRは重み行列$Q$・$R$で評価関数を与えて最適化するという設計思想を持つが、これは深層学習の状態空間モデル(Mamba等)が勾配降下でパラメータを最適化する学習過程と構造的に類似するか、それとも「望ましい極を明示的に指定しない」という点で本質的に異なる最適化なのか。両分野を橋渡しする文献はまだ確認できていない。 ## 関連 - [[RNN]] — 状態空間モデルの一般化として位置づけられる先 - [[Transformer]] — 状態空間モデルが近似しようとする高性能モデル - [[線形注意]] — 状態空間モデルと関係する有限次元カーネルのアプローチ - [[カーネル法]] — 状態空間モデルを Transformer と統一的に記述するフレームワーク - [[ハイブリッドアテンションアーキテクチャ]] — SSM とフルアテンション/SWA を組み合わせる設計空間 - [[Z変換と伝達関数]] — 制御理論における状態空間モデルの相互変換先(SISO・入出力関係のみを記述するモデル) - [[ブロック線図]] — 状態空間モデルをベクトル入出力のブロックとして表す際の表記 - [[極配置設計]] — 状態フィードバック制御則のゲイン行列 $K$ を決める設計技法(状態空間・MIMOへの拡張) - ソース: [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 7 State-Space Models]] / [[@2004__Wiley__Feedback Control of Computing Systems - Chapter 10 State-Space Feedback Control]] / [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]] / [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.0 Model-level Optimization - Efficient Structure Design]] - 実体: [[Apache HTTP Server]] / [[IBM Lotus Domino Server]] - 書籍: [[Feedback Control of Computing Systems]] ## 出典 - [[joisino-トランスフォーマーはRNN-2024]]（§「トランスフォーマーは RNN である(再々)」） - [[@2025__arXiv__PLaMo 2 Technical Report]]（PLaMo 2 / Falcon3-Mamba の長文脈検索評価） - Hellerstein, Diao, Parekh, Tilbury, *Feedback Control of Computing Systems*, IEEE Press / John Wiley & Sons, 2004, Chapter 7, Chapter 10. - [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]](§2.5.4 Transformer 代替アーキテクチャ: S4・DSS・H3・GSS・Block-State Transformer・Mamba の系譜。連続時間定式化 $x'(t)=Ax(t)+Bu(t)$) - [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.0 Model-level Optimization - Efficient Structure Design]](§5.1.3 Transformer Alternates: HiPPO/LSSL→S4/DSS/S4D→S5/Liquid S4→Mamba の遷移行列パラメータ化系譜、表2の効率比較)