# OSprey ## 概要 OSprey (OS Pre-trained Transformer) は [[MIT CSAIL]] の研究グループ([[Tim Kraska]]・[[Samuel Madden]] ら)が開発した、クエリレイテンシ予測のためのシステム状態エンコーダである。Linux sysstat で収集した 92 種類の OS メトリクス時系列を入力として受け取り、DBMS クエリのレイテンシ予測に有用なシステム状態埋め込みベクトルを出力する。 ## アーキテクチャ - **トランスフォーマー**: デコーダのみの構成。4 層、16 ヘッド/層、埋め込みサイズ 32、計 3M パラメータ - **トークナイゼーション**: 各 OS メトリクスサブフィールドを 1 トークンとして扱う。直近 30 タイムステップ(各 20 秒)を入力 - **事前学習**: 複数データベースワークロード・複数システムコンテキストの OS ログで事前学習し、重みを固定 - **統合方法**: DB 特化 GCN と組み合わせた因数分解型アーキテクチャ内で動作 ## 主な特性 - **普遍性**: 特定のデータベース・ハードウェアに依存しない汎用システム状態エンコーダ - **軽量推論**: エンベディングはクエリ非依存のため、複数クエリで計算コストを償却できる(CPU 上で約 25ms) - **解釈性**: 自己注意スコアが現在のシステム状態で最も重要な OS メトリクスを強調表示する - **クラスタリング**: OSprey エンベディングの t-SNE 射影がワークロードの性能特性で連続的に配置される ## GitHub https://github.com/parimarjan/LatencyPredictor ## 関連 - [[@2024__arXiv__OS Pre-trained Transformer - Predicting Query Latencies across Changing System Contexts]] - [[クエリレイテンシ予測]] - [[Tim Kraska]] - [[Samuel Madden]] - [[MIT CSAIL]]