[Self-Supervised Learning and Its Applications - neptune.ai](https://neptune.ai/blog/self-supervised-learning) - SSL（Self-supervised learning）は、ラベル付きデータの過度な依存がもたらす課題を解決するために準備された、進化する機械学習手法 - 主に2つの段階 - プレクスト課題 - 事前学習に使うタスクは、プレテキスト・タスクと呼ばれる - プレテキストタスク（教師ありタスクとも呼ばれる）の目的は、モデルがデータの中間表現を学習するように導くこと - 実用的な下流タスクに有益な、根本的な構造的意味を理解するのに有効 - 下流タスク - プレテキストモデルが特定のタスクに知識移転するプロセス - 下流タスクには、少ない量のラベル付きデータが提供される --- [2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita](https://qiita.com/omiita/items/a7429ec42e4eef4b6a4d) - 自己教師あり学習の最新トレンドは[[対照学習|Contrastive learning]]