# Kubeflow Pipelines (KFP) 『信頼性の高い機械学習』15章§15.6で、Dialpad のDEチームがASR-NLP依存関係の自動回帰テストサンドボックスを構築する基盤として選定したプラットフォーム。パイプラインと呼ばれるカスタムの有向非巡回グラフ(DAG)を作成でき、各パイプラインはサンドボックス化され、プラットフォーム全体が実行中の全パイプラインの要求に応じて独立してスケールできる。Dialpad のエンジニアリングチームが基盤技術である [[Kubernetes]] と Argo Workflows に大きく投資していたことが選定理由として挙げられている。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.6) KFP のパイプラインは、評価基準に応じて正しいモデルデプロイメント成果物を選択して評価用インフラをその場で構築し、コスト削減のため永続化しない。テストベッドはモデルバージョンから切り離され、依存関係の順序だけを認識する。ASRモデルバージョン・NLPモデルバージョン・データセットバージョンの全組み合わせに対して評価指標が収集され、BigQuery(データセット・評価指標)とストレージ(中間モデル成果物)、ダッシュボードと組み合わさったハイレベルな回帰テスト環境を構成する。全てのモデル出力はデバッグ目的で30日間保存される。CI/CDワークフローがASRモデルの更新のたびにKFPパイプラインをトリガーし、評価結果はSlackへ要約通知される。この仕組みにより、NLP感情分析モデルのF1スコアが1年間で約25%低下していたことが検出された。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.6) ## 関連 - ソース: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] - 実体: [[Dialpad]] / [[Kubernetes]] - 概念: [[音声認識]] ## 出典 - [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]](§15.6)