# Hash Layers ## 定義 Hash Layersは、入力トークンをどのエキスパートへ送るかを学習済みRouterではなくハッシュ関数で決めるMoEのルーティング方式である。ルーティング決定から学習可能な競争を外すことで、特定エキスパートへの正のフィードバックとrouting collapseを避けることを狙う。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]) ## 大規模MoEでの役割 [[Preferred Elements]]の1Tパラメータ級検証では、通常の学習型MoE Routerが同じエキスパートへほぼ全トークンを割り当て、train loss約7.8で停滞した。Hash Layersへ移行すると、最終train lossは約1.57まで低下した。これは少なくとも記事の実験条件では、学習型Routerより安定して事前学習を継続できたことを示す。 ## 横断的知見 - **ルーティングを学習しないこと自体が負荷分散の解法になる**: [[負荷分散]]では補助損失、ゲーティング関数変更、システム配置最適化が主な解法として整理されるが、Hash Layersはルーティングの学習可能性を外して崩壊経路を断つ。これは性能最適化より安定性を優先する設計軸である。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]], [[負荷分散]]) - **大規模化でルーティング問題の性質が変わる可能性がある**: 約30Bでは機能した学習型Routerが1Tで崩壊した。モデルの深さやエキスパート当たりの容量が増えると、わずかな偏りが固定化しやすくなるという仮説はあるが、記事は原因を確定していない。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]) ## 未解決の問い - Hash Layersのハッシュ設計は、エキスパートの専門化と未知データへの汎化を学習型Routerと同等にできるか。 - トークン分布が偏ったとき、固定ハッシュによる負荷不均衡をどのように緩和するか。 - Hash LayersとExpert Choice Routingを同一の1T級モデル・計算予算で比較したとき、train loss、下流性能、通信量はどう異なるか。 - ハッシュ固定による再現性の向上と、入力依存の適応性の損失とのトレードオフはどこにあるか。 ## 関連 - 上位概念: [[Mixture-of-Experts]] / [[条件付き計算]] - 関連概念: [[負荷分散]] / [[LLM分散学習]] - 代替方式: [[Expert Choice Routing]] - 実証ソース: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]] ## 出典 - [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]] - [Hash Layers](https://arxiv.org/abs/2106.04426)