# CLP CLP(Compressed Log Processor)は、ログメッセージをタイムスタンプ・log type(静的テキスト)・変数値の3要素にパースし、3列のテーブルとして構造化して可逆圧縮するシステム。静的テキストと反復的な変数値を辞書に格納し、その辞書を検索時の粗粒度インデックスとして利用することで、完全解凍なしの検索を実現する。「CLP: Efficient and Scalable Search on Compressed Text Logs」(OSDI '21、[[Kirk Rodrigues]]・[[Yu Luo (University of Toronto)]]・[[Ding Yuan]])で提案された。[[YScope]] が開発・運用しており、Uber の不構造化ログ管理基盤として実運用されている。 µSlope 論文([[@2024__OSDI__μSlope - High Compression and Fast Search on Semi-Structured Logs]])によれば、CLP は不構造化ログの圧縮・検索には有効だが、半構造化ログ(JSON など)のキー・バリュー構造を扱う設計になっていない。CLP のパーサを拡張してキー・バリュー構造を認識させても、全フィールドの値が単一の variables カラムに混在するため、圧縮率が悪化し、個別フィールドの検索に不要な解凍・スキャンが必要になる。µSlope はこの CLP のログパーサ(log-surgeon)を継承しつつ、半構造化データに特化したスキーマ管理層(Merged Parse Tree・Schema Map・Encoded Record Table)を追加することでこの制約を解消する。µSlope の評価では、圧縮率で CLP の 1.50 倍を達成している。(Source: [[@2024__OSDI__μSlope - High Compression and Fast Search on Semi-Structured Logs]]) ## 関連