- [[2025__MLSys__AIOpsLab - A Holistic Framework for Evaluating AI Agents for Enabling Autonomous Cloud|AIOpsLab]]などを使って、テレメトリーデータを生成し、時系列基盤モデルのデータセットとし、評価も自動で回す仕組み。 - リアルなシナリオを [[VOID]] などのウェブ上から [[ポストモーテム]] などから入手し、アプリケーションを動的生成させて、AIOpsLabに組み込み自動評価させる。 --- - Web系コミュニティからデータを集めるつてはある。いろいろな種類のシステムのデータの配分率を変えたり、除外したりして、性能がどうかわるかみてみたい。 - 時系列基盤モデルのスケーリング則みたいなものがあるのかないのか気になる - AI/HPCとウェブアプリではMoEでエキスパートをわけたほうがいいのか - 時系列基盤モデルにReasoningとかありえるのか - メトリクス、ログ、トレースなどの時系列の数値と半構造化テキストなどのマルチモーダルのアーキテクチャをどう組むか。 - MicrosoftのAIOpsLabを拡張して、OpenClawみたいに自律的にウェブからインシデントデータを収集して、それを小さく再現するアプリケーションを自動作成して、負荷シナリオも自動生成して、データセットを作ったり、新モデルを評価したりする基盤とか作りたい。人間がほぼ介在せず、ずっと動き続けている。