A Tutorial on Kernel Density Estimation and Recent Advances

# A Tutorial on Kernel Density Estimation and Recent Advances ## 概要 Yen-Chi Chen(University of Washington 統計学部)による 2017 年のチュートリアル。カーネル密度推定(KDE)を「密度関数を点推定する道具」としてではなく、**その推定量から何をどこまで推測できるか**という観点で組み立て直す。基本性質(各種距離のもとでの収束率・密度導関数の推定・バンド幅選択)から出発し、信頼区間/信頼帯の構成とバイアスの扱い、密度関数の幾何的・位相的特徴(モード・稜線・レベル集合)の推測、そして累積分布関数と ROC 曲線の推定へと進む。R 実装が付属する。 > [!abstract] 概要(abstract の日本語訳) > 本チュートリアルは、カーネル密度推定(KDE)と、信頼帯および幾何的・位相的特徴に関する近年の進展への、平易な導入を与える。まず KDE の基本的な性質を論じる。すなわち各種の距離のもとでの収束率、密度導関数の推定、そしてバンド幅の選択である。次に、信頼区間・信頼帯の構成に対する一般的な取り組みを導入し、バイアスをどう扱うかを論じる。続いて、KDE を用いた密度関数の幾何的・位相的特徴の推測に関する近年の進展について述べる。最後に、KDE を用いて累積分布関数と受信者動作特性(ROC)曲線を推定する方法を示す。本チュートリアルに関連する R の実装を末尾に提供する。 ## 書誌情報 - 著者: Yen-Chi Chen(Department of Statistics, University of Washington) - 媒体: arXiv:1704.03924v2 [stat.ME] - 発表: 2017-09-13(v2) - URL: https://arxiv.org/abs/1704.03924 - 構成: 全 5 章(21 PDF ページ)。§1 と §2 は同一ページから始まるため 1 枚に統合した - 原本: `.raw/theses/arxiv-1704.03924/` ## 構成と主要テーマ本チュートリアルは「推定量を定義し性質を調べる(第 1 章)→ その不確実性を測る(第 3 章)→ 推定量から構造を取り出す(第 4 章)→ 別の対象へ応用する(第 5 章)→ 残された問題を挙げる(第 6 章)」という順で進む。**推定の精度から推測の保証へ、さらに形状の推測へと問いが移っていく**構成になっている。 > [!note] 章番号について > 原本の §1(Introduction)と §2(Statistical Properties)は同一 PDF ページから始まるため 1 枚に統合した。章番号は原本の節番号に従うので **Chapter 2 は存在しない**。 → [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] — KDE の定義と基本性質。3 種の誤差指標(pointwise / uniform / MISE)のもとでの収束率、密度導関数の推定、そして帯域幅選択(経験則・LSCV・biased CV・plug-in・Lepski の方法)の 5 手法を理論的に分類する。最適帯域幅 $h_{opt}=O(n^{-1/(d+4)})$、最適 MISE $O(n^{-2/(d+4)})$。 → [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] — **本チュートリアルの核心**。局所被覆(信頼区間)と同時被覆(信頼帯)を区別したうえで、**KDE のバイアスが被覆保証を「真の密度」から「その期待値」へすり替えてしまう**問題を明示し、バイアスの無視・アンダースムージング・バイアス補正という 3 つの対処戦略を整理する。 → [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]] — 密度関数そのものではなく**その形から取り出せる構造**を推定する。局所モード・レベル集合・リッジ(幾何的特徴)と、Morse-Smale 複体・クラスタツリー・パーシステント図(位相的特徴)。 → [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 5 Estimating the CDF]] — KDE を積分して累積分布関数と ROC 曲線を推定する。最適帯域幅のもとでは CDF 推定の収束率が経験分布関数と同じに帰着する。 → [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]] — 他の KDE 型推定量の信頼帯の因果推論への拡張、多次元 KDE の可視化、幾何的・位相的構造の一様推論とミニマックス最適性という 3 つの未解決問題を挙げる。 ## 位置づけと影響 - **「推定できる」と「保証できる」の間にある溝を主題にしている**。第 1 章が確立する収束率は推定量が真の密度へ近づくことを言うが、第 3 章はその推定量から作った信頼帯が保証するのは**真の密度ではなくその期待値**の被覆であることを明示する。バイアスが消えないために生じるこの溝と、それを埋める 3 戦略の整理が本チュートリアルの中心にある。 - **章分割して初めて見えたこと**: 第 4 章の特徴推定アルゴリズム(モード・レベル集合・リッジ・クラスタツリー・パーシステント図)は、いずれも**点推定用の標準的な帯域幅選択法(第 1 章 §2.3 の 5 手法)を無調整で流用している**。特徴推定に固有の帯域幅選択規準は本文に存在せず、第 6 章もこれを未解決問題として挙げる。第 1 章と第 4 章を別ページに分けたことで、この不整合が対比として立ち上がった。 - **DBSCAN との数学的な同一性**: 第 4 章のレベル集合条件 $\hat p(x)\ge\lambda$ は、一様カーネルを使ったとき **DBSCAN の核点条件(Eps 近傍の点数 ≥ MinPts)と数式レベルで一致する**。DBSCAN のクラスタは第 4 章のクラスタツリーの単一の $\lambda$ 断面にあたる。これは [[Anomaly Detection - A Survey]](Chandola ほか、2009)が DBSCAN を密度ベースの異常検知技法として扱っているのと突き合わせて初めて言えることで、[[密度ベースクラスタリング]] の横断的知見に記録した。 - **道具として使う文献と、道具そのものを論じる文献の対比**: Chandola ほか(2009)は KDE を異常検知のノンパラメトリック手法として紹介するが**帯域幅選択には踏み込まない**。本チュートリアルは 5 手法を理論的に分類する。同じ手法が応用文献では暗黙化され、方法論文献では主題化されるという非対称が [[カーネル密度推定]] に記録されている。 ## 関連 - 概念: [[カーネル密度推定]] / [[密度ベースクラスタリング]] ## 出典 - Yen-Chi Chen, "A Tutorial on Kernel Density Estimation and Recent Advances", arXiv:1704.03924v2, 2017.