# Dialpad 『信頼性の高い機械学習』15章に、3つの独立したケーススタディの舞台として登場する企業。世界中の顧客向けに、自動音声認識(ASR)を起点としたリアルタイム文字起こし・翻訳・NLP機能(「Dialpad AI」と呼称)を提供する。3事例はいずれも Dialpad の異なるチームによる寄稿である。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]]) ## §15.1 方言ASRとプライバシー(執筆: Riqiang Wang) Dialpad の自動音声認識(ASR)チームは、北米方言以外(イギリス・オーストラリア・ニュージーランド等)での翻訳精度向上を目指した。人間による注釈やユーザー自己申告というアイデアはプライバシー・実務上の理由で採用せず、最終的に「方言」という概念自体をなくし、モデルの信頼度指標でフィルタリングした代表性の低いデータを追加取得する方針に転換した。無償でカスタマイズ可能なデータ保持ポリシーが、複数四半期にまたがる方言MLパイプラインの再現性と衝突し、11ヶ月後に訓練データが失効して過去のモデルビルドの再現が困難になったことを受け、ASR・NLPチームのデータタスクを担当する専門データチームを新設し、テストセット作成プロセスを標準化した。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.1) ## §15.4 NLPモデルのプロファイリングとステージング負荷テスト(執筆: Cheng Chen) Dialpad の AI チームは、リアルタイム文字起こしのフォーマット・感情検出・アクションアイテム抽出などの NLP アプリケーションを、GPU非対応・最大1CPU・発話あたり推論50ms上限という厳しいリアルタイム制約下で運用する。BERT ベースモデルのローカルプロファイリングが Google Kubernetes Engine(GKE)運用環境の実際のレイテンシ挙動と一致しない問題に直面し、データエンジニアリング(DE)チームがステージング環境向けのセルフサービス負荷テストツールを開発した。CircleCI による自動デプロイ制御と Datadog ダッシュボードでの性能監視を組み合わせ、応用サイエンティストが DE チームへの依存なく運用に近い見積もりを得られる体制を確立した。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.4) ## §15.6 MLワークフローにおける依存関係のテストと測定(執筆: Harsh Saini) Dialpad の音声認識・NLPパイプラインは、ユーザーの位置・製品ラインに応じた複数のASRモデルと、感情分析・質問検出・アクションアイテム識別など複数のNLPタスク固有モデルが並行動作する構成を持つ。ASRモデルの更新(語彙変更・出力精度向上・トピックドリフト)が下流NLPモデルの性能を静かに劣化させる問題に対処するため、DEチームはデータサイエンスチームと協力し、[[Kubeflow Pipelines (KFP)|Kubeflow Pipelines]] 基盤上に自動回帰テストサンドボックスを構築した。CI/CDワークフローがASRモデル更新のたびにKFPパイプラインをトリガーし、NLP感情分析モデルのF1スコアが1年間で約25%低下していたことを検出した。(Source: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] §15.6) ## 関連 - ソース: [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]] - 概念: [[音声認識]] / [[データのプライバシーと同意]] / [[MLプロファイリング]] / [[クラウドソーシングによるアノテーション]] - 実体: [[Kubeflow Pipelines (KFP)|Kubeflow Pipelines]] / [[BERT]] / [[Datadog]] / [[CircleCI]] / [[Kubernetes]] ## 出典 - [[@2024__OReillyJapan__信頼性の高い機械学習 - Chapter 15 ケーススタディ：MLOpsの実践]](§15.1, §15.4, §15.6)