[[20230324 TSifterの統合評価内容]]の結果。 - Neptuneで統合評価結果をだすように [https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/compare?viewId=98d90663-e5d7-4b70-a9de-9264979cd596&detailsTab=metadata&shortId=TSDRLOC-173&dash=leaderboard&type=run&compare=IwdgzANMU9ew%2BTEuW1G5A](https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/compare?viewId=98d90663-e5d7-4b70-a9de-9264979cd596&detailsTab=metadata&shortId=TSDRLOC-173&dash=leaderboard&type=run&compare=IwdgzANMU9ew%2BTEuW1G5A) - 統合評価内容 - 次元削減 + {PCアルゴリズムによる因果グラフ、コールグラグ、完全グラフ} + MonitorRank - PCアルゴリズムすら使わない手法も含めているところがポイント - 下記の組み合わせを総当りで評価指標を計算する - 次元削減レイヤ 1. フェーズ1+2 2. フェーズ1のみ 3. フェーズ2のみ - フェーズ１の種類 1. K-S検定 2. ε-Diagnosis 3. FluxInfer-AD 4. 提案手法 - フェーズ２の種類 - クラスタリングアルゴリズム - 階層型クラスタリング （閾値0.0.2） - DBSCAN (FluxRank) - HDBSCAN - 距離尺度 - SBD - ピアソン相関係数 - 因果グラフ構築レイヤ - PCアルゴリズム - 条件付き独立性検定 alpha=0.5 - 条件なし２変数独立性検定 alpha=0.5 - 事前知識（ネットワークのコールグラフあり）によるエッジ削除あり or なし - コールグラフ - 完全グラフ - ランダムウォークレイヤ - MonitorRank - 評価指標 - 精度 → AC@K, AVG@K - 故障箇所特定粒度 → metric, container, service - [https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/table?viewId=98db34c8-1afd-4ede-81e6-34c83f2b3feb&detailsTab=metadata&shortId=TSDRLOC-173&dash=leaderboard&type=run&compare=IwdgzANMU9ew%2BTEuW1H1cz7feZA](https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/table?viewId=98db34c8-1afd-4ede-81e6-34c83f2b3feb&detailsTab=metadata&shortId=TSDRLOC-173&dash=leaderboard&type=run&compare=IwdgzANMU9ew%2BTEuW1H1cz7feZA) - ２変数独立性検定と完全グラフがよい結果 - 完全グラフ - fluxrank_sbd_medoid_only_ctnrs https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/details?viewId=98db34c8-1afd-4ede-81e6-34c83f2b3feb&shortId=TSDRLOC-204&type=run&compare=IwdgzANMU9ew%2BTEuW1H1cz7feZA - fluxrank_pearsonr_medoid_only_ctnrs https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/details?viewId=98db34c8-1afd-4ede-81e6-34c83f2b3feb&shortId=TSDRLOC-203&type=run&compare=IwdgzANMU9ew%2BTEuW1H1cz7feZA - hierarchy-single_sbd_medoid_only_ctnrs ## FluxRank + SBD + medoid + complete graph https://new-ui.neptune.ai/html-renderer/?experimentIdentifier=98daf880-d74d-4798-9d50-82889bb1a22a&attribute=eval%2Fscore-df-by-cause-type - pod-cpu-hog AC@K 0.843750 - pod-memory-hog AC@K 0.22 - メモリ故障はやはり線形ではない？ので、精度が低い - 完全グラフのはずなのにケースが少ないのはなぜ？ - メトリクス粒度よりコンテナ・サービス粒度のほうが精度が低いのは、コンテナ・サービス粒度では、コンテナ・サービスの重複を排除しているため。メトリクスについては、top-k内に複数の正解メトリクスがあれば、加点されるため、スコアが高くなる。 - ## FluxRank + Pearsonr + medoid + complete graph https://new-ui.neptune.ai/html-renderer/?experimentIdentifier=98db0140-58da-4fe3-bf39-957f56c3df80&attribute=eval%2Fscore-df-by-cause-type - SBDとほぼ同等の傾向 --- TrainTicket https://new-ui.neptune.ai/yuuk1/tsdr-localization/runs/table?viewId=98dc39c9-914e-44b9-8545-e12930bde368&detailsTab=metadata&shortId=TSDRLOC-173&dash=leaderboard&type=run&compare=IwdgzANMU9ew%2BTEuW1H1cz7feZA