## Memo ## Memo with LLM ### 論文情報 - **タイトル**: Maintainability and Scalability in Machine Learning: Challenges and Solutions - **著者と所属**: - Karthik Shivashankar (Department of Informatics, University of Oslo, Norway) - Ghadi S. Al Hajj (Department of Informatics, University of Oslo, Norway) - Antonio Martini (Department of Informatics, University of Oslo, Norway) - **カンファレンス/ジャーナル名**: ACM Computing Surveys - **発表年**: 2025年（Volume 57, Issue 12, Article No. 318, Pages 1-36, 2025年7月12日出版） ### 論文概要 この論文は、機械学習システムにおけるスケーラビリティと保守性の課題と解決策を体系的に調査したSystematic Literature Review（SLR）である。17,000以上の論文から124の関連研究を選定し、41の保守性課題と13のスケーラビリティ課題を特定・分類している。 ### 詳細解説 #### 問題設定 - **入力**: 機械学習システムの開発・運用において生じるスケーラビリティと保守性の課題 - **出力**: 課題の分類・体系化と対応する解決策のカタログ、課題間の相互依存関係の分析 - **必要なデータ**: 2014年1月1日から2023年2月15日までの機械学習とソフトウェア工学分野の学術論文、IEEE Xplore、ACM Digital Library、Web of Science、Google Scholar、Scopusから収集 #### 提案手法 この研究では、以下のアプローチを採用した体系的文献レビューを実施： 1. **検索戦略**: 包括的検索クエリを使用してデータベース横断検索を実行 - 検索クエリ例: TITLE-ABS-KEY (machine AND learning AND software AND (ml OR ai OR dl) AND (adapt* OR maintain* OR scal*) AND (system OR architect*) AND (data OR algorithm)) 1. **選定基準**: 厳格な包含・除外基準を適用し、3段階の評価プロセスを実施 2. **品質評価**: Dyba and Dingsøyr の5点リッカート尺度チェックリストを使用、Cohen's Kappa統計による評価者間一致度測定（κ > 0.75で実質的合意） 3. **データ抽出と分析**: NVIVO toolsを使用したオープンコーディング技法により、テーマとパターンを体系的に特定 #### 新規性 - **包括性**: スケーラビリティと保守性の両方を同時に扱った初めての体系的レビュー - **段階別分析**: MLワークフローの異なる段階（データエンジニアリング、モデルエンジニアリング、システム構築）における課題を詳細に分類 - **相互依存関係の解明**: 課題間の複雑な相互依存関係を可視化し、改善が一方に与える他方への影響を分析 - **トレードオフの分析**: スケーラビリティと保守性間のトレードオフと、それらのバランス戦略を初めて体系化 #### 実験設定 - **データセット**: IEEE Xplore (4,819件)、Scopus (7,285件中上位2,000件)、Web of Science (2,588件)、ACM Digital Library (1,053件)、Google Scholar (2,191件中上位1,000件) - **選定プロセス**: - 初期検索: 17,000件以上 - タイトル・アブストラクト評価後: 145件 - スノーボーリングによる追加: 20件 - 最終選定: 124件 - **評価指標**: Cohen's Kappa統計による評価者間信頼性（IC1: 0.7653, IC2: 0.7853, IC3: 0.8230, IC4: 0.7595, IC5: 0.8388） #### 実験結果 研究により以下の具体的な成果が得られた： **保守性課題（41項目）**: - データセット作成: ラベリング困難性、バイアスと攻撃脆弱性、文書化不備 - データ前処理: 品質管理、処理順序決定、不均衡データ・データ漏洩 - データ検証: パイプライン信頼性、品質インフラ構築 - データ管理: 大規模進化データセット管理、再現性・追跡可能性ツール不足 **スケーラビリティ課題（13項目）**: - 大規模データ分析の需要増加 - 並列データアクセスにおける耐障害性問題 - 本番データ管理、スケジューリング、モニタリングの複雑性 **相互依存関係**: - 保守性課題間の13の相互依存関係を特定 - スケーラビリティ課題間の3の相互依存関係を特定 - 改善の波及効果により「Changing Anything Changes Everything」(CACE)原理を実証 **実務への影響**: - ツール開発者向けの具体的推奨事項を提供 - MLOps実装のベストプラクティスを体系化 - 産業界での採用を促進するための品質保証フレームワークを提案 この研究は、研究者と実務者の両方にとってMLシステムの堅牢性向上のための貴重なリソースとなり、将来の研究方向性を示している。 ## Abstract この体系的文献レビューでは、機械学習（ML）システムにおけるスケーラビリティと保守性に関する重要な課題と解決策を検討しています。MLアプリケーションが業界全体でますます複雑かつ広範囲になるにつれて、システムのスケーラビリティと長期的な保守性のバランスを取る必要性が重要な懸念として浮上しています。このレビューでは、データエンジニアリングから本番環境でのモデルデプロイメントまで、MLライフサイクル全体にわたってこれらの二重の課題に対処する現在の研究と実践を統合しています。私たちは124の論文を分析し、対応する解決策とともに41の保守性課題と13のスケーラビリティ課題を特定・分類しました。私たちの調査結果により、スケーラビリティと保守性の間の複雑な相互依存関係が明らかになり、一方の改善が他方にしばしば影響を与えることが分かりました。レビューは6つの主要な研究課題を中心に構成され、データエンジニアリング、モデルエンジニアリング、MLシステム開発における保守性とスケーラビリティの課題を検討しています。私たちは、これらの課題がMLライフサイクルのさまざまな段階でどのように異なって現れるかを探求しています。この包括的概観は、MLシステム分野の研究者と実務者の両方に貴重な洞察を提供します。将来の研究方向性を導き、ベストプラクティスを情報提供し、さまざまな領域でより堅牢で効率的かつ持続可能なMLアプリケーションの開発に貢献することを目的としています。