# StriaTrace オンライン LLM 推論サービスを対象とするトレーシング・診断システム。同期バリアとクリティカルパスを CPU 側で計装し、GPU 側ではカーネル実行とメモリ転送を追跡する。正常ステップは集約値だけを保持し、動的回帰型ルーフラインから外れたステップで `py-spy` と詳細 GPU トレースを用いる。 ## 主な成果 - 既存手法に対するトレーシングオーバーヘッドを 97.8%削減し、評価では完全構成の負荷を概ね 1%に抑えた。 - 動的ルーフラインを用いた注入異常の recall は 100%だった。 - Alibaba Group の本番環境で 1,700 超のインスタンスと日量 1.8億超のリクエストを 6か月監視し、19 種類の根本原因にまたがる数百件の異常を診断した。 - 完全自動の根本原因オラクルではなく、SRE の調査対象を縮小する高速トリアージ機構として位置づけられる。 ## 関連 - ソース: [[@2026__OSDI__StriaTrace - Efficient Tracing and Diagnosis for Online LLM Inference]] - 概念: [[LLM推論]] / [[GPU観測性]] / [[分散トレーシング]] / [[トレーシングオーバーヘッド]] / [[Rooflineモデル]] - 基盤: [[vLLM]] / [[py-spy]] / [[CUPTI]]