# 再帰深度アーキテクチャ ## 定義 再帰深度アーキテクチャ(recurrent-depth architecture)とは、トランスフォーマーを prelude(入力埋め込み)・core recurrent block(共有の再帰ブロック)・coda(出力復号)の 3 つの機能グループに分割し、core block をテスト時に任意回数だけ反復適用することで、パラメータ数を増やさずに実効的な計算の深さ(FLOP 消費)を増やすアーキテクチャ族である。訓練時に反復回数をランダムにサンプルする「切り詰めアンローリング(truncated unrolling)」により、テスト時に反復回数を自由に変えても機能するモデルを学習できる(Source: [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]])。 ## 未解決の問い - 再帰深度アーキテクチャと Mixture-of-Experts(パラメータは多いがアクティブ計算は少ない)は相補的な設計思想を持つとされるが、両者を統合したアーキテクチャ(再帰する MoE)の実証はまだない。 - 多演算子(multi-operand)の算術問題では 4 演算子以上・1 桁の加算すら安定して解けないという限界が報告されている。この汎化限界はモデル規模・反復回数の増加でどこまで解消するか。 ## 未編纂の観察 - [大規模事前学習の実証] [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]] は、Universal Transformer(Dehghani et al., 2019)や Deep Equilibrium Models(Bai et al., 2019)、Looped Transformer(Giannou et al., 2023 等)の系譜にある再帰深度アイデアを、3.5B パラメータ・800B トークン規模で初めてゼロから大規模事前学習した(Source: [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]])。 - [並列化上の利点] 再帰深度モデルはパラメータ数に対して FLOP 消費が大きいため、テンソル並列のような通信コストの高い並列化を避けデータ並列のみで学習でき、低速な相互接続を持つクラスタ(AMD Frontier 等)でのデバイス利用率を高められる(Source: [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]])。 - [安定化に必須の設計要素] 大規模化(3.5B パラメータ級)では、サンドイッチ型の正規化配置(RMSNorm を Attn/MLP の前後双方に配置)・埋め込みスケール・学習可能な adapter による入力再注入が無いと、隠れ状態がトークン次元で相関 1.0 に収束する「表現崩壊」に陥り再帰を活用できないことが実証された(Source: [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]])。 - [推論時機能の副産物] 再帰深度アーキテクチャは、KV キャッシュの全ステップが同一の射影行列から生成されるため、追加学習なしにゼロショットの適応的計算・[[KVキャッシュ管理|KV キャッシュ共有]]・[[Speculative Decoding|自己投機的デコーディング]]・連続 CoT を自然にサポートする(Source: [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]])。 ## 関連 - [[潜在推論]] — 再帰深度アーキテクチャが実現する推論方式。 - [[LLM分散学習]] — テンソル並列を避けデータ並列のみで学習できるという並列化上の利点。 - [[KVキャッシュ管理]] — ゼロショット KV キャッシュ共有。 - [[Speculative Decoding]] — ゼロショット自己投機的デコーディング。 ## 出典 - [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]]