ヒントンが考案した [[ニューラルネットワーク]]の学習手法。 大きなネットワークにより学習されたモデルを教師モデルとし、小さなネットワークを生徒モデルとして、生徒モデルの出力を教師モデルに近づけるように学習させる。 もとの教師ネットワークよりもサイズが小さいネットワークで同等の性能を出すことができる。