# Transformer Engine NVIDIA の Transformer 向けソフトウェア・ハードウェア協調機構。Hopper の H100 では、各層の出力統計と次層の情報から FP8 と16ビット計算を動的に選び、テンソルのスケーリングと再キャストを行う。 公式記事は、この機構により A100 対比で AI 学習最大9倍、LLM 推論最大30倍の高速化を主張する。一方、後続の H800 測定は、行列サイズが小さい場合の形式変換や、短い decode におけるメモリ律速が効果を抑えることを示す。(Source: [[@2022__NVIDIA Developer Blog__NVIDIA Hopper Architecture In-Depth]], [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]]) ## 関連 - [[@2022__NVIDIA Developer Blog__NVIDIA Hopper Architecture In-Depth]] - [[NVIDIA]] - [[PyTorch]] - [[テンソルコア]] - [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]] ## 出典 - https://github.com/NVIDIA/TransformerEngine