# ログ圧縮と検索 ## 定義 ログ圧縮と検索(Log Compression and Search)は、大量に蓄積されるログデータを可逆圧縮しつつ、完全な解凍を行わずにクエリを実行できるようにする技術群を指す。[[CLP]] はログメッセージをタイムスタンプ・log type(静的テキスト)・変数値の3要素にパースして構造化し、静的テキストと反復的な変数値を辞書に格納することで、辞書を粗粒度インデックスとして使いながら圧縮率と検索速度を両立する。LogGrep はこれをさらに細粒度化し、訓練フェーズで共通パターンを識別して変数をサブコンポーネントに分割する。これらは不構造化(自由記述)テキストログを主対象としており、JSON のような半構造化ログのキー・バリュー構造を直接扱う設計にはなっていない。µSlope はこの系譜に半構造化データ向けのスキーマ管理層(Merged Parse Tree・Schema Map・Encoded Record Table)を追加し、フィールド単位の論理的な絞り込みを可能にする。(Source: [[@2024__OSDI__μSlope - High Compression and Fast Search on Semi-Structured Logs]]) ## 未解決の問い - CLP・LogGrep のような不構造化ログ向け圧縮技術と、µSlope のような半構造化ログ向け技術は、両方の性質を併せ持つログ(大部分がログテキストだが一部フィールドが構造化されている)に対してどう統合できるか。 - 汎用圧縮器(Zstandard・LZMA)のスライディングウィンドウ方式に対し、辞書 + スキーマメタデータ方式が優位になる条件(反復率・スキーマ多様性の閾値)はどこにあるか。 ## 未編纂の観察 ## 関連