# Huginn-0125 ## 概要 [[Jonas Geiping]] らが [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]] で学習した [[再帰深度アーキテクチャ]] のプロトタイプモデル。約 3.5B パラメータ(非再帰の prelude/head に約 1.5B、core recurrent block に約 1.5B、tied embedding に 0.5B)、800B トークンで事前学習された。名前は北欧神話に登場するオーディンの大鴉「フギン(Huginn、/ˈhuːɡɪn/、「思考」を意味する)」に由来する。huggingface.co/tomg-group-umd/huginn-0125 で公開されている。 ## 学習構成 - 隠れ次元 h=5280(55 head × 96)、層構成 (l_P, l_R, l_C) = (2, 4, 2)、平均反復回数 r̄=32。 - [[Oak Ridge National Laboratory]] の Frontier スーパーコンピュータ上で [[AMD]] MI250X GPU 4096 台を用いて学習。 - テスト時に再帰回数(recurrence)を 1〜64+ の範囲で変えることで、推論ベンチマークの性能が向上し続ける(最大で 50B パラメータ相当の FLOP 予算まで)。 ## 関連 - [[@2025__arXiv__Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach]] - [[潜在推論]] - [[再帰深度アーキテクチャ]]