# CheckFreq CheckFreq は、DNN 訓練のチェックポイントをエポック粒度からイテレーション粒度へ引き上げる自動・きめ細かいチェックポイントフレームワークである([[@2021__FAST__CheckFreq - Frequent Fine-Grained DNN Checkpointing]]、FAST '21)。[[UT Austin]] の Jayashree Mohan・Vijay Chidambaram と [[Microsoft Research]] の Amar Phanishayee による共同研究で、本研究は Mohan の Microsoft Research インターンシップの一環として実施された。PyTorch 向けのプラグイン可能モジュールとして実装され、NVIDIA DALI 上に構築したデータイテレータで既存の PyTorch データローダを置き換える。(Source: [[@2021__FAST__CheckFreq - Frequent Fine-Grained DNN Checkpointing]]) CheckFreq は次の4つの技術を組み合わせる。 - **システマティックなオンラインプロファイリング**によるチェックポイント頻度のアルゴリズム的な初期決定。 - **適応的レート調整**による、干渉に応じたチェックポイント頻度の実行時動的調整。 - **再開可能なデータイテレータ**による、イテレーション粒度の中断・再開でもデータ不変条件(各データ項目を1エポックに厳密に1回処理する)を保つ機構。 - **二相チェックポイント**(`snapshot()` と `persist()` の分離パイプライン化)による、計算とチェックポイントの重ね合わせ。 評価では、ランタイムオーバーヘッドを3.5%未満に抑えながら、エポック境界方式に比べて83〜278倍(Conf-Pascal)・25〜100倍(Conf-Volta)高頻度なチェックポイントを実現し、復旧時間を数時間から数秒〜数十秒へ短縮した。(Source: [[@2021__FAST__CheckFreq - Frequent Fine-Grained DNN Checkpointing]]) ## 関連 - ソース: [[@2021__FAST__CheckFreq - Frequent Fine-Grained DNN Checkpointing]] - エンティティ: [[Jayashree Mohan]] / [[Amar Phanishayee]] / [[Vijay Chidambaram]] / [[UT Austin]] / [[Microsoft Research]] - 概念: [[チェックポイント]]