# LogReducer [[Sun Yat-sen University]] の [[Guangba Yu]]・[[Pengfei Chen]] らと [[Tencent]] が共同開発した、eBPF ベースの非侵襲的・言語非依存なログホットスポット自動特定・削減フレームワーク。(Source: [[@2023__ICSE__LogReducer - Identify and Reduce Log Hotspots in Kernel on the Fly]]) ログパーサ（ログ署名 + 頻度分析）・ホットスポット分類器（ストレージ比率閾値）・ログフィルタ（eBPF によるカーネル空間 `sys_write()` インターセプト）の 3 モジュールで構成される。カーネル空間フィルタはログメッセージあたり最大 2,000 ns・CPU 0.008% の極めて低いオーバーヘッドで動作する。 [[WeChat]] 本番のオフラインプロセスとして 2022 年 4 月に導入され、2 か月でログストレージを 19.7 PB/日→ 12.0 PB/日（39.08% 削減）に低減した。オンラインプロセスはテスト環境で稼働し、ホットスポット影響時間を平均 9 日→ 10 分に短縮する。 - リポジトリ: https://github.com/IntelligentDDS/LogReducer ## 関連 - ソース: [[@2023__ICSE__LogReducer - Identify and Reduce Log Hotspots in Kernel on the Fly]] - 開発者: [[Guangba Yu]] / [[Pengfei Chen]] / [[Sun Yat-sen University]] / [[Tencent]] - 対象環境: [[WeChat]] - 概念: [[eBPF]] / [[ログ解析]] / [[ログパース]] / [[AIOps]]