# OLMoE-1B-7B Allen Institute for AI が公開するオープンウェイトの Mixture-of-Experts 言語モデル。FaultSense は本モデルの第 1 MoE 層のみを保持し、self-attention の出力をゼロ化、学習済みゲーティング行列を単位行列に置換することで、任意のエキスパート(=GPU)を決定的に活性化できる単層プローブモデルを構築した。