## Memo ## Memo with LLM ### 論文情報 - **論文のタイトル**: TailBench++: Flexible Multi-Client, Multi-Server Benchmarking for Latency-Critical Workloads - **著者と所属**: Zhilin Li, Lucia Pons, Salvador Petit, Julio Sahuquillo, Julio Pons（スペイン・バレンシア工科大学コンピュータ工学・設計学科） - **カンファレンス/ジャーナル名**: arXiv プリプリント - **発表年**: 2025年 ### 論文概要 本論文は、レイテンシクリティカルなワークロードのベンチマークスイートであるTailBenchの制限を解決するため、動的なマルチクライアント・マルチサーバー環境での評価を可能とするTailBench++を提案している。TailBench++により、可変クライアント到着時間、動的QPS変動、複数サーバー処理を含む、より現実的なクラウドシステムの評価が実現できる。 ### 詳細解説 #### 問題設定 従来のTailBenchには４つの主要な制限がある：（1）サーバーは事前定義された数のクライアントが接続するまで処理を開始できない、（2）処理開始後は新しいクライアント接続を受け付けられない、（3）全クライアントが終了するとサーバーも終了する、（4）クライアントが送信できるリクエスト数がサーバーによって制限される。これらの制限により、現実的なクラウドシステムの動的な挙動を再現することが困難である。 #### 提案手法 TailBench++は以下の4つの新機能を実装している： - **Feature 1 (制限のないクライアント数)**: サーバーが事前定義されたクライアント数を待たずに動的にクライアント接続を受け付けられるよう、`recvReq`関数内で新しい`checkNewClient`関数を追加 - **Feature 2 (永続的サーバー)**: 全クライアントが切断してもサーバーが終了せず、新しいクライアント接続を監視し続ける機能を実装 - **Feature 3 (独立したクライアント動作)**: 各クライアントが独自のワークロードを持てるよう、リクエスト制限制御をサーバーからクライアント側に移行 - **Feature 4 (可変クライアント負荷)**: 実行中にクライアントのリクエスト率を動的に調整できる機能を`start_req`関数に追加 #### 新規性 従来のTailBenchは単一サーバー・固定クライアント数の制約があったが、TailBench++は以下の点で革新的である：（1）アプリケーション動作を変更せずに適用範囲を拡大、（2）リアルタイムでのクライアント接続・切断への対応、（3）動的QPS変動のサポート、（4）マルチサーバー環境でのロードバランシング評価の実現。 #### 実験設定 Intel Xeon E5-2658A v3マスターノード（12コア、30MB LLC、32GB DDR3）とIntel Xeon Gold 6438Y+ワーカーノード（2ソケット、各32コア、60MB LLC、256GB DDR5）からなる実システムテストベッドを使用。[[ProxmoxVE]]でVM環境を構築し、Linux Virtual Server ([[LVS]])によるロードバランシングを実装。8つのレイテンシクリティカルアプリケーション（img-dnn、masstree、moses、shore、silo、specjbb、sphinx、xapian）で評価を実施。 #### 実験結果 Welch's t-testによる統計分析で、TailBench++のレイテンシ分布がTailBenchと有意差がないことを確認（全アプリケーションでp-value > 0.05）。マルチサーバー環境では、specjbb++とsilo++を除く全アプリケーションでシングルサーバーより低いレイテンシを実現。3つのケーススタディ（インターリーブクライアント到着パターン、動的クライアント負荷パターン、マルチサーバーロードバランシング）により、TailBench++の新機能の有効性を実証した。 ## Abstract クラウドシステムは過去10年間で世界的に急速に拡大し、計算タスクをクライアントがリクエストを送信するクラウドサーバーに移行している。クラウドワークロードの中でも、高パーセンタイル応答時間を特徴とするレイテンシクリティカルアプリケーションが特に注目を集めている。これらのアプリケーションは現代のサービスに存在し、クラウドワークロードの重要な部分を占めている。本研究では、一般的なクラウドベンチマークスイートを分析し、レイテンシクリティカルワークロードでクラウド性能を評価するのに最も適しているTailBenchを特定した。しかしながら、このスイートは特にマルチサーバーシナリオや可変クライアント到着パターンと変動負荷の環境において重要な制限を有している。これらの制限に対処するため、我々はTailBenchを拡張してダイナミックなマルチクライアント・マルチサーバー環境でのクラウド評価研究を可能にする強化ベンチマークスイートTailBench++を提案する。これは、可変クライアント到着時間、動的なクエリ毎秒（QPS）変動、複数サーバーによるリクエスト処理を含む実験の再現を可能にする。ケーススタディにより、TailBench++がより広範囲な実世界シナリオを捉えることで、より現実的な評価を可能にすることが示されている。