# CUPTI CUDA Profiling Tools Interface。NVIDIA の GPU プロファイリング/計装インターフェース。[[@2025__HCDS__eGPU - Extending eBPF Programmability and Observability to GPUs|eGPU]] は [[NVBit]] とともに既存の GPU 計装手法として CUPTI を挙げ、これらが大きなオーバーヘッドを伴うか GPU カーネルを中断する侵襲的変更を要する点を課題とする。(Source: [[@2025__HCDS__eGPU - Extending eBPF Programmability and Observability to GPUs]]) - [[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF|eInfer]] は、ベンダー非依存でありながら CUPTI 相当の専用 GPU プロファイラに近い精度を得ると位置づける。(Source: [[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF]]) - [[@2026__arXiv__TELLER - Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference|TELLER]] は eGPU/eInfer とは対照的に CUPTI(コールバック + アクティビティレコード)そのものを採用し、NVTX の動的フックと組み合わせて非侵入なリクエストレベルのコールチェーン再構成を行う。eBPF 系が CUPTI を「回避したいベンダー専用ツール」として位置づけるのに対し、TELLER は CUPTI を正面から使いつつオーバーヘッドを wall time +9.8% 程度に抑える設計を示した。(Source: [[@2026__arXiv__TELLER - Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference]]) [[StriaTrace]] は CUPTI の全 CUDA Runtime/Driver API を追跡せず、GPU カーネルとメモリ転送の開始・終了時刻に絞ることで、常時観測可能な負荷を目指した。(Source: [[@2026__OSDI__StriaTrace - Efficient Tracing and Diagnosis for Online LLM Inference]]) ## 関連 - ソース: [[@2025__HCDS__eGPU - Extending eBPF Programmability and Observability to GPUs]] / [[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF]] / [[@2026__arXiv__TELLER - Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference]] - エンティティ: [[NVBit]]