# 機械学習システムのテスト Navigation: [[index]] | [[concepts/_index]] ## 定義 機械学習システムのテストとは、挙動がコードでなくデータとモデル設定から学習される点を踏まえ、コードの単体テスト・統合テストに、データ、モデル開発、機械学習基盤、監視の検査を加えて、本番準備度を確かめる実践である。ML Test Score は、この検査を 4 領域 × 7 件の 28 件の表明に整理し、手動実施を 0.5 点、自動実施を 1 点として領域ごとに合計し、最小値を最終スコアとする採点方式である。(Source: [[@2017__Big Data__The ML Test Score - A Rubric for ML Production Readiness and Technical Debt Reduction]]) ## 未解決の問い - 28 件を同点で扱う採点は、実際の障害の重大度やテストの費用に応じた優先順位づけにどこまで耐えるか。 - スコアの高さは、本番障害の少なさにどの程度結びつくか。 ## 未編纂の観察 ## 関連 - 概念: [[機械学習システムの本番モニタリング]] / [[MLモデル監視]] / [[カナリアテスト]] / [[技術的負債]] - ソース: [[@2017__Big Data__The ML Test Score - A Rubric for ML Production Readiness and Technical Debt Reduction]] ## 出典 - [[@2017__Big Data__The ML Test Score - A Rubric for ML Production Readiness and Technical Debt Reduction]] — 28 件のテストと採点方式