カーネル密度推定 - yuuk1's Digital Garden

# カーネル密度推定 ## 定義カーネル密度推定（kernel density estimation, KDE）は、パルツェン窓（Parzen, 1962）としても知られるノンパラメトリック密度推定法であり、データの背後にある確率密度関数を、パラメトリックな分布族の仮定なしに推定する。$X_1, \dots, X_n \in \mathbb{R}^d$ を独立同分布標本とするとき、KDE は次式で定義される: $\hat{p}_n(x) = \frac{1}{nh^d} \sum_{i=1}^{n} K\!\left(\frac{x - X_i}{h}\right)$ ここで $K: \mathbb{R}^d \to \mathbb{R}$ は**カーネル関数**（ガウスカーネル、球状カーネル等の滑らかな関数）、$h > 0$ は**帯域幅**（バンドウィドス）と呼ばれる平滑化パラメータである。直感的には、各データ点をカーネル関数で決まる滑らかなバンプに変換し、その総和で密度を推定する。帯域幅 $h$ が小さすぎると推定は過度に揺らぎ（アンダースムージング）、大きすぎると特徴が消失する（オーバースムージング）。MISE（平均積分二乗誤差）を最小化する最適帯域幅は $h_{\text{opt}} = O(n^{-1/(d+4)})$ のオーダーであり、対応する最適 MISE は $O(n^{-2/(d+4)})$ で収束する。カーネル関数の選択は推定誤差に対して定数シフトの影響しか持たず、帯域幅選択に比べて重要度は低い。(Source: [[A Tutorial on Kernel Density Estimation and Recent Advances]]) 帯域幅選択の主要手法として、経験則（Silverman, 1986）、最小二乗交差検証（Rudemo, 1982）、バイアス付き交差検証（Scott & Terrell, 1987）、プラグイン法（Sheather & Jones, 1991）がある。 KDE は密度関数そのものだけでなく、密度の幾何学的・位相的特徴（局所モード、レベルセット、リッジ、クラスターツリー、パーシステント図）の推定にも応用される。信頼区間・信頼帯の構成ではバイアスの取り扱いが本質的課題であり、アンダースムージング、バイアス補正（オーバースムージング）、バイアスの無視という3つの戦略が提案されている。(Source: [[A Tutorial on Kernel Density Estimation and Recent Advances]]) ## 横断的知見 - **2つのソースは同じParzen推定量を異なる目的で導入する**: [[A Tutorial on Kernel Density Estimation and Recent Advances]]は$\hat p_n(x)=\frac1{nh^d}\sum_iK((x-X_i)/h)$という記法でMISE最適化・幾何学的特徴推定という理論的側面を深掘りするのに対し、[[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.6.1は同じ推定量を$\hat f_X(x_0)=\frac1{N\lambda}\sum_iK_\lambda(x_0,x_i)$という記法(帯域幅を$\lambda$と表記)で導入し、経験分布とGaussianカーネルの畳み込み$(\hat F\star\phi_\lambda)(x)$という別の定式化を与える。両ソースとも「帯域幅の選択がカーネル形状の選択より重要」という点で一致する。(Source: [[A Tutorial on Kernel Density Estimation and Recent Advances]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.6.1) - **ESLはKDEをベイズの定理と組み合わせた分類器(カーネル密度分類・単純ベイズ分類器)まで拡張するが、2017年のチュートリアルはこの分類への応用に踏み込んでいない**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.6.2-6.6.3は、クラスごとにKDEで$\hat f_j(X)$を推定し事前確率$\hat\pi_j$と合わせてベイズの定理で事後確率$\hat{\Pr}(G=j\mid X=x_0)=\hat\pi_j\hat f_j(x_0)/\sum_k\hat\pi_k\hat f_k(x_0)$を得る手法(単純ベイズ分類器はこの特殊ケースで特徴間独立を仮定)を導入する。データが疎な領域ではKDEに基づく密度推定自体の分散が大きくなり分類性能が劣化する現象が指摘されており、これは[[A Tutorial on Kernel Density Estimation and Recent Advances]]が指摘する高次元でのKDE収束レート$O(n^{-2/(d+4)})$の劣化(次元の呪い)と同根の問題として整理できる。ESLはこの問題への実践的対処として、密度全体でなく決定境界近傍の事後確率だけを精度良く推定すれば十分であるという指針を与える。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.6.2-6.6.3) - **ESLはKDEを混合モデルの極限として位置づけ、[[密度ベースクラスタリング]]の未解決の問いに間接的に答える**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.8は、Gaussian混合モデル$f(x)=\sum_m\alpha_m\phi(x;\mu_m,\Sigma_m)$の共分散を$\Sigma_m=\sigma I$に固定し成分数$M\to N$とすると、最尤推定がKDE(式6.22)に収束することを示す。これはKDEが「バンド幅$h\to0$、成分数$\to N$の極限をとった混合モデル」とみなせることを意味し、以下の未解決の問い(DENCLUEとの理論的接続)に対して「KDEは有限混合モデルの特殊極限」という統一的な見方を提供する。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.8) - **MML第11章はKDEを混合ガウスモデル(GMM)と正面から比較する構成を持ちながら、ESLが示す「GMMの極限としてのKDE」という統一的な関係には踏み込まない**: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models|MML第11章]]は密度推定という同じ問題設定のもとで、§11.1-§11.4を丸ごと使いGMM(パラメトリック、成分数$K$固定、EMアルゴリズムで最尤推定)を詳述したのち、§11.5「Further Reading」の末尾でヒストグラムとKDE(ノンパラメトリック、式11.74: $p(x)=\frac1{Nh}\sum_nk\left(\frac{x-x_n}{h}\right)$)を対比候補として簡潔に紹介するにとどまる。GMMとKDEをこれほど近接して並べていながら、ESL §6.8が示す「$\Sigma_k=\sigma I$固定・$K\to N$の極限でGMMの最尤推定がKDEに一致する」という統一的な関係には一切言及しない。同じ密度推定というテーマを扱う教科書でも、GMMとKDEを「共通の極限を持つ1つの手法の両端」として提示するか(ESL)、「パラメトリック対ノンパラメトリックという別系統の手法」として並列に提示するか(MML)で構成上の選択が分かれており、後者の提示だけを読むと両手法の理論的な連続性は見えない。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.5, [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.8) - **KDEの推定量の式は、独立な3ソースで表記だけを変えて繰り返し登場する**: [[A Tutorial on Kernel Density Estimation and Recent Advances]]の$\hat p_n(x)=\frac1{nh^d}\sum_iK((x-X_i)/h)$、[[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]]の$\hat f_X(x_0)=\frac1{N\lambda}\sum_iK_\lambda(x_0,x_i)$に続き、[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]]も式11.74で$p(x)=\frac1{Nh}\sum_nk\left(\frac{x-x_n}{h}\right)$という同型の式を与える(帯域幅の記号が$h$/$\lambda$/$h$と変わるのみ)。3ソースが独立にこの推定量の基本形へ収束していることは、KDEが分野内で表記の揺れを超えて安定した標準形を持つことを裏付ける。(Source: [[A Tutorial on Kernel Density Estimation and Recent Advances]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.6.1, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.5) - **理論が指摘する「帯域幅選択の重要性」と、下流タスクの精度における帯域幅の実際の影響力は必ずしも一致しない——AIOps の 1 次元 KDE 応用例がその乖離を実証する**: 本ページの理論的ソース群は「帯域幅 $h$ が推定誤差を強く左右し、カーネル形状の選択より重要」と一致して指摘するが、[[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]](博士論文第 5 章)の MetricSifter は、障害起因の変化点 index の 1 次元 KDE(ガウスカーネル、密度推定値の相対極小をセグメント境界にする、式5.3-5.4)を使うパラメータ感度実験で、KDE 帯域幅 $h$ を 1.0〜7.0 の範囲で変化させても下流タスクの balanced accuracy(BA)がほぼ一定であることを実験的に示した(§5.5.5, Fig. 5.8)。一方でもう一方のハイパーパラメータ(変化点検知側のペナルティ重み $\omega$)は BA に強く影響する。これは「KDE 単体の密度推定誤差に対する帯域幅の影響」と「KDE を内部に含むパイプライン全体の下流タスク精度に対する帯域幅の影響」が別の問題であることを示す具体例であり、$d=1$・**密度そのものでなく相対極小(セグメント境界)という位相的特徴だけを使う**という MetricSifter の使い方が、帯域幅への感度を実務上大きく減らしている可能性を示唆する(本ページの「幾何学的・位相的特徴の推定に KDE を応用する」という記述の裏付けになる実例)。(Source: [[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]] §5.5.5, Fig. 5.8, [[A Tutorial on Kernel Density Estimation and Recent Advances]]) - **異常検知サーベイの整理では、カーネル関数ベース技法はパラメトリック手法と「考え方は同じで密度推定の方式のみが異なる」と明記され、KDE を異常検知に使う設計原理がここで具体化される**: [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] は、カーネル関数ベース技法(parzen windows推定、Parzen [1962])を統計的異常検知の一分類として位置づけ、テストインスタンスの異常スコアを学習済み確率密度関数の逆数とする点でパラメトリック手法(ガウシアンモデル等)と同じ枠組みを共有すると明示する(§7.2.2)。Desforges et al. [1998]は正常インスタンスのみを用いて確率密度関数をKDEで推定し、この分布の低確率領域に位置する新規インスタンスを異常と宣言する半教師あり統計的技法を提案した——これは本ページが理論的観点から整理してきた「密度の幾何学的・位相的特徴の推定」という応用の外側にある、「密度推定→低確率領域の判定」という異常/ノベルティ検知への直接応用の具体例である。異常検知サーベイの枠組みでは、ガウシアンモデル(パラメトリック)とカーネル関数ベース(ノンパラメトリック)が「同じ考え方で密度推定の方式だけが違う」ペアとして並置されており、本ページが集約するESLの「KDEはGMMの極限」という理論的関係(§6.8)が、異常検知という応用文脈でも同型の対比構造として繰り返されていることを示す。(Source: [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] §7.1, §7.2.2, [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.8) - **異常検知サーベイが暗黙の前提として扱う帯域幅選択を、チュートリアル第1章は5手法の分類学として理論的に整理する——両者の抽象度の落差は「道具としてのKDE」と「推定量そのものの統計的性質」という視点の違いを反映する**: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] §2.3 は、帯域幅選択法を経験則(Silverman, 1986)・最小二乗交差検証(Rudemo, 1982 他)・バイアス付き交差検証(Scott and Terrell, 1987)・プラグイン法(Sheather and Jones, 1991)・Lepski's approach(Goldenshluger and Lepski, 2011)の5系統に分類し、いずれも AMISE(§2.1、式4)の異なる推定量であるという共通原理で統一的に説明する。一方、[[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] §7.2.2 が紹介する Desforges et al. [1998] のカーネル関数ベース異常検知は「正常データのみで確率密度関数を KDE 推定する」とだけ述べ、5手法のどれを採用するか、収束レート(§2.1 の pointwise error・uniform error・MISE の3種、いずれもチュートリアル第1章の核)への言及は一切ない。応用サーベイが理論の細部を実装詳細として省略する典型例であり、チュートリアル側が強調する「帯域幅選択はカーネル関数選択より重要」という知見(§2.3 Remark)が、応用文献では帯域幅そのものが暗黙の前提として扱われ表面化しない、という非対称性を示す。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] §2.1, §2.3, [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] §7.2.2) - **KDEのバイアス処理は、ESLの局所回帰が示す「自動的なバイアス補正」とは異なり、明示的な補正手続きを要する——同じカーネル法の枠組みでバイアス補正の様式が分かれる**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.1.1 は、局所線形回帰が境界バイアスを重み(等価カーネル)の非対称な自動調整だけで一次まで補正すること(automatic kernel carpentry)を示す。一方、[[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] §3.3.3 が扱うKDEのバイアス補正は、密度そのものを回帰のように局所線形化して補正するのではなく、バイアスの主要項 $\frac{h^2}{2}\sigma_K^2\nabla^2 p(x)$ を**別の帯域幅 $b$ による2次導関数の推定量**で明示的に差し引く(バイアス補正KDE $\tilde p_n(x)=\hat p_n(x)-\frac{h^2}{2}\sigma_K^2\nabla^2\hat p_b(x)$)。同じ「カーネル関数による局所平滑化」という土台の上で、局所回帰は推定量の構成自体(重み付き最小二乗)がバイアスを打ち消すのに対し、KDEの信頼帯構成は補正項を独立に推定して差し引くという、対象(回帰関数対密度関数)の違いに起因するバイアス補正様式の分岐が見える。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.1.1, [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] §3.3.3) - **KDEの信頼帯構成(Chapter 3)は、本ページが定義から一貫して重視する「バイアス-バリアンストレードオフ」が信頼領域の幅という具体的な形で表面化する例である**: 本ページの定義は $h_{opt}=O(n^{-1/(d+4)})$ がMISEを最小化する帯域幅だと述べるが、[[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] §3.3.2 のアンダースムージング戦略は、この点推定の最適解より**あえて小さい**帯域幅($nh^{d+4}\to0$)を選ぶことでバイアスを分散項に対して無視可能にする一方、信頼帯自体の幅は最適帯域幅を使う場合より広くなる。「点推定の最適化」と「信頼領域の妥当性」が同じ帯域幅選択問題に対して逆方向の要求を課すことを示す具体例である。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] §3.3.2) - **幾何的・位相的特徴の推定アルゴリズムは、点推定と同じ標準的な帯域幅選択法を無調整で流用しており、特徴推定に特化した帯域幅選択は本文中に一切登場しない——このギャップが未解決の問いとして先送りされる理由をチュートリアル自身の記述から確認できる**: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]]の局所モード(§4.1)・レベルセット(§4.2)・リッジ(§4.3)・クラスタツリー(§4.5)・パーシステント図(§4.6)はいずれも「$\hat p_n$ の対応する特徴が $p$ の特徴に収束する」というプラグイン原理のみを議論し、帯域幅 $h$ の選び方については Figure 6 の信頼帯構成アルゴリズム(手順1)が「rule of thumb や cross-validation といった標準的な手法で $h$ を選ぶ」と述べるにとどまる。これは[[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] §2.3 が整理する点推定向けの5手法(経験則・LSCV・biased CV・プラグイン法・Lepski's approach)をそのまま転用していることを意味し、特徴(モード・レベルセット等)の推定誤差を最小化する専用の帯域幅選択規準は第4章のどこにも定義されていない。この欠落が、本ページ既存の未解決の問い(下記、Chen 2017 §6: 「幾何学的・位相的構造を最適に推定する帯域幅選択法は未解決」)の直接的な根拠になっている。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] §2.3, [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]] §4.1-§4.6) ## 未解決の問い - **Chandola サーベイが暗黙の前提とする帯域幅は、チュートリアル第1章が整理する5手法(経験則・LSCV・biased CV・プラグイン法・Lepski's approach)のどれに相当するか**: Desforges et al. [1998] の記述(§7.2.2)には帯域幅選択法の明記がなく、異常検知の実務でどの手法が主流か、あるいは KDE の収束レート(pointwise/uniform/MISE)が異常スコアの信頼性にどう影響するかは、本ページが集約する2ソースの範囲では特定できない。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] §2.3, [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] §7.2.2) - **Desforges et al. 1998 の半教師あり KDE 異常検知(正常データのみで密度を推定し低確率領域を異常とする)でも、MetricSifter が観測した「下流タスク精度は帯域幅にほぼ非依存」という性質は成り立つか**: MetricSifter は変化点セグメンテーションという位相的特徴への応用だったが、Desforges et al. 1998 は密度の絶対値そのもの(低確率領域か否か)を判定に使う点で設定が異なり、帯域幅への感度が同程度に低いかは未検証。(Source: [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] §7.2.2, [[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]] §5.5.5) - **KDE の推定誤差に対する帯域幅の影響力と、KDE を内部で使う下流タスク(変化点セグメンテーション等)の精度に対する帯域幅の影響力は、どのような条件で乖離するか**: MetricSifter の 1 次元・位相的特徴(相対極小)利用という設定はその一例だが、他の応用(回帰、分類、クラスタリング)でも同様の「密度誤差と下流精度の乖離」が起きるかは体系的に検証されていない。(Source: [[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]] §5.5.5) - KDE の最適収束レート $O(n^{-2/(d+4)})$ は次元 $d$ が大きいと極めて遅い（次元の呪い）。密度サロゲートへの切り替えが示唆されているが、適切なサロゲートと推定量の選択は未確立である（Chen, 2017 §6）。ESL §6.6.2はこの問題への実践的対処(決定境界近傍の事後確率だけを推定する)を分類タスクに限って示すが、密度推定タスク一般への解にはなっていない。 - 幾何学的・位相的構造（局所モード、レベルセット、リッジ等）を最適に推定する帯域幅選択法は未解決である。MISE のセット推定量への一般化が必要とされている（Chen, 2017 §6） - 回帰関数・ハザード関数・生存関数に対するカーネルスムージングの信頼帯構成は未解決問題である（Chen, 2017 §6） - DENCLUE（Hinneburg & Keim 1998）は KDE に基づく密度ベースクラスタリング手法であり、KDE の帯域幅選択が DENCLUE のクラスタリング性能にどう影響するかの体系的検証が求められる。[[密度ベースクラスタリング]]の HDBSCAN は相互到達可能距離に基づく階層的アプローチで帯域幅の明示的選択を回避したが、KDE ベースの手法との理論的接続は十分に整理されていない。ESL §6.8の「KDEは混合モデルの極限」という見方がDENCLUEとGaussian混合ベースのクラスタリングの接続に使えるか未検証。 - ESLの単純ベイズ分類器は特徴ごとに独立な1次元KDEを使うことで次元の呪いを回避する(§6.6.3)が、この独立性仮定を緩めた(一部の特徴だけ同時密度推定する)中間的な手法は、Chen(2017)のMISE理論の下でどの程度の収束レート改善をもたらすか。 - ESL §6.1.1が示す局所回帰の「等価カーネルの非対称調整による自動バイアス補正(automatic kernel carpentry)」を、KDEの密度推定・信頼帯構成にも応用できるか(2次導関数の別推定なしに、カーネル自体の非対称化だけで§3.3.3のバイアス補正と同等の効果を得られるか)は、本ページが集約する2ソースの範囲では検証されていない。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] §6.1.1, [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] §3.3.3) - 第6章が挙げる「他のKDE型推定量の信頼帯」という未解決の問いには、回帰・ハザード・生存関数そのものだけでなく、因果推論における処置群と対照群の関数の差(処置効果の特徴量、例: conditional average treatment effect)に対する信頼帯構成も含まれる。この処置効果特徴量への拡張は、既存の問い(直前の項目)には明記されていなかった側面である。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]]) - 第6章は次元の呪いに加えて、多次元KDE($d>3$)における可視化の困難さも未解決の問いとして挙げる: KDE全体を直接見ることができないため可視化ツールを用いる必要があるが、実務でどの可視化ツールを選ぶべきかは不明である。第4章が紹介するクラスタツリー・パーシステント図・Morse-Smale複体はいずれも多変量密度の可視化手段として言及されており(§4.4-§4.6)、これらのうちどれを、どのような基準で選ぶべきかは本チュートリアルの範囲では明らかにされていない。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]], [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]]) - 第6章が挙げる幾何的・位相的構造の未解決課題には、帯域幅選択(MISEのセット推定量への一般化)に加えて、構成済みの信頼集合が密度関数の集合に対して一様に有効かどうか(一様推論)、およびミニマックス理論のような理論的最適性がいくつかの構造について不明であることも含まれる。(Source: [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]]) ## 関連 - ソース: [[A Tutorial on Kernel Density Estimation and Recent Advances]] / [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]] / [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]] / [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]] / [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] / [[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]] / [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] - エンティティ: [[Yen-Chi Chen]]、[[University of Washington]]、[[MetricSifter]] - 接続概念: [[密度ベースクラスタリング]]（DENCLUE は KDE ベースのクラスタリング手法。モードクラスタリングは KDE の局所モードに基づく）/ [[局所回帰]]（同じカーネル関数$K_\lambda$を回帰でなく密度推定に用いる姉妹手法）/ [[混合ガウスモデル]]（パラメトリックな密度推定の対概念。ESLの極限関係ではKDEの特殊な親) / [[変化点検知]]（KDE をセグメント境界検出に応用する AIOps 実例）/ [[異常検知]]（カーネル関数ベース異常検知はKDEの低確率領域判定への直接応用）/ [[信頼区間]]（KDEの信頼区間・信頼帯構成が拠って立つ一般概念）/ [[ブートストラップ法]]（KDEの信頼区間・信頼帯構成の中心的な道具） ## 出典 - [[A Tutorial on Kernel Density Estimation and Recent Advances]] - [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 1 Introduction and Statistical Properties]](§2.1 収束レート、§2.2 密度導関数の推定、§2.3 帯域幅選択) - [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 3 Confidence Intervals and Confidence Bands]](§3.1-§3.2 信頼区間・信頼帯の構成、§3.3 バイアスの扱い) - [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 4 Geometric and Topological Features]](§4.1-§4.6 幾何的・位相的特徴の推定と帯域幅選択の扱い) - [[@2017__arXiv__A Tutorial on Kernel Density Estimation and Recent Advances - Chapter 6 Conclusion and Open Problems]](未解決の問い: 他のKDE型推定量の信頼帯、多次元問題、幾何的・位相的構造のさらなる課題) - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 6, §6.6, §6.8. - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 11, §11.5. - [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]](§7.1, §7.2.2 カーネル関数ベース異常検知) - [[@2025__PhD__Scaling Telemetry Workloads in Cloud Applications - Chapter 5 Feature Reduction of Multivariate Time Series Data for Automated Fault Localization]](§5.3.4 KDE によるセグメンテーション、§5.5.5 パラメータ感度)