# Logarithm [[Meta]] が社内限定で運用する、ホスト型・サーバレス・マルチテナントのログサービス。システムログ・アプリケーションログを取り込み索引化し、対話的なクエリインターフェースで検索・閲覧を提供する。100+GB/s のログをリアルタイムに索引化し、毎秒数千件のクエリを処理する規模を持ち、新鮮さ・完全性・耐久性・クエリレイテンシ・クエリ結果完全性についてサービスレベル保証([[サービスレベル目標]])を提供する。C++20 で実装され、コルーチン・非同期実行といった modern C++ パターンに基づく。開発は約3年で行われた。(Source: [[@2024__EngineeringAtMeta__Logarithm - A logging engine for AI training workflows and services]]) データモデルは、単一ログファイルに対応する時系列・不変・非構造テキストの名前付きログストリームで、各行に型付きメタデータキー・バリュー対を付与できる。ストレージは物理メモリ・ローカル SSD・[[Manifold]] の3層に tiering され、分散キューには [[Scribe]](内部で [[LogDevice]] を使用)を用いる。ログとメタデータは [[Apache ORC]] ファイルとして格納し、Bloom フィルタベースの軽量セカンダリインデックスで低レイテンシルックアップを実現する。デフォルトのロギングライブラリとして [[glog]] を利用するユーザーが多い。(Source: [[@2024__EngineeringAtMeta__Logarithm - A logging engine for AI training workflows and services]]) AI 訓練デバッグでは、メタデータ API で rank ID をログ行に付与し、複数 [[PyTorch]] rank が単一ログファイルに多重化される分散訓練のデバッグを支援する([[AI訓練ログデバッグ]])。モデル入出力テンソル・内部状態・勾配等の連続テレメトリも取り込み、内部デプロイの [[TensorBoard]] をストリーミング API で駆動する。(Source: [[@2024__EngineeringAtMeta__Logarithm - A logging engine for AI training workflows and services]]) ## 関連 - ソース: [[@2024__EngineeringAtMeta__Logarithm - A logging engine for AI training workflows and services]] - 開発元: [[Meta]] - 依存コンポーネント: [[Manifold]] / [[Scribe]] / [[LogDevice]] / [[Apache ORC]] / [[glog]] - 関連概念: [[AI訓練ログデバッグ]] / [[GPU観測性]] / [[LLM学習モニタリング]] / [[ログ解析]] / [[サービスレベル目標]] - 関連エンティティ: [[PyTorch]] / [[TensorBoard]]