- 進捗 - 研究課題2 採録 - 研究課題4 IOTS2021で発表済み（11/25-26） - 報告 - 研究課題4の位置づけを整理 - 既存研究の再現性の課題 - 展望 - 異常検知・原因診断などのタスクごとに複数の手法がある - [[2020__ICSOC__A Systematic Mapping Study in AIOps]] - [[2021__TIST__A Survey of AIOps Methods for Failure Management]] - オペレーターはどの手法が自身の環境に適しているのかわからない - 具体例 - 手法や評価実験に暗黙の前提があるケース - 一部の特徴量を省いたときに、同程度の推論性能となるのか？ - 特徴量のサイズ（系列長など）や特徴量の個数 - 現場では、取得しづらい特徴量もある - 「Failure」の種類に制限はあるか？ - 個別環境への適用性 - 推論性能がオペレーターにとって十分か？ - 個別環境で発生した過去の「Failure」で十分な推論性能となるか？ - オペレーターが適切な手法を選択するための支援が目的 - 個別環境に適用する際の課題の分類 - 条件変更に対する頑強性の課題（一般性） - 簡単な環境に対して、モデル化された条件の変更に対する頑強性があるか？ <- 研究課題4 - モデルの前提がオペレーターの環境の前提を満たすかどうか（個別適応性） - 商用の個別の環境の複雑なシナリオに対応可能か？ - IOTS2021での発表・質疑 1. 自動ラベリングの手法について、正規分布を仮定している。障害の注入を正規分布に従うように注入しているのか？ - 実際のデータが正規分布に従うかは確認できていない． - 実際従っていないこともある 2. P15: ラベリングをするための赤い期間の幅（タイミング）はどうしているのか．注入してからいつシステムに異常が発生するか - 5分間の固定で決め打ちしている．この5分も設定値として変更可能 3. 条件（例えば故障注入期間）を変えた場合は，再度データを生成し直しになるか - 生成し直しになる - 高速に再生成 - 局所的なデータ生成のリトライが可能 - 複数の環境を起動し、並列生成 (今後の課題) - MLの世界には、[[Data Augmentation]]（データ拡張）というものがある - 元の学習データに変換を加えてデータ量を増やすテクニック - 実際にはありえないデータで評価してしまうリスクがある - 今後の予定 - 研究課題3については、データセットの品質の改善、分析モデルの性能の改善を引き続き実施 - > この分野は、問題のより正式な標準化と、達成された結果の比較・評価に必要なベンチマークに対する強い姿勢に基づいて、実験のための強固な基盤を提供することができなければなりません。そのためには、標準的な問題やベンチマークデータセットを作成する努力が必要です。 ## To-Do - 機械学習の再現性の課題の論文を探す ## スライド ![[okabelab_meeting_202112.pdf]] ## 質疑 - 「動的生成」というのがわかりにくい - （これ、査読でも指摘されたので、なにか別の表現を考えたほうがいいかもしれない。オンデマンド生成とか。パターンの組み合わせが膨大であることも述べたほうがよさそう） - p.11 で、標準化のステップを踏むことでうまくいくかどうかの仮説をどう検証するか？