Se il kernel di Epanechnikov è teoricamente ottimale quando si esegue la stima della densità del kernel, perché non è più comunemente usato?

Ho letto (per esempio, qui ) che il kernel Epanechnikov è ottimale, almeno in senso teorico, quando si esegue la stima della densità del kernel. Se questo è vero, allora perché il gaussiano si presenta così frequentemente come il kernel predefinito, o in molti casi l'unico kernel, nelle librerie di stima della densità?

Il motivo per cui il kernel Epanechnikov non è universalmente usato per la sua ottimalità teorica potrebbe benissimo essere che il kernel Epanechnikov non è in realtà teoricamente ottimale . Tsybakov critica esplicitamente l'argomento secondo cui il kernel di Epanechnikov è "teoricamente ottimale" in pagg. 16-19 di Introduzione alla stima non parametrica (sezione 1.2.4).

Cercando di riassumere, sotto alcune ipotesi sul kernel $K$ e una densità fissa $p$ si ha che l'errore quadratico integrato medio è, della forma

$$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$$

La critica principale di Tsybakov sembra essere minimizzare rispetto ai kernel non negativi, poiché spesso è possibile ottenere stimatori con prestazioni migliori, che sono anche non negativi, senza limitarsi ai kernel non negativi.

Il primo passo dell'argomento per il kernel Epanechnikov inizia minimizzando $(1)$ su $h$ e tutti i kernel non negativi (anziché tutti i kernel di una classe più ampia) per ottenere una larghezza di banda "ottimale" per $K$

$$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$$

e il kernel "ottimale" (Epanechnikov)

$$K^*(u) = \frac{3}{4}(1-u^2)_+$$

il cui errore quadrato integrato medio è:

$$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$$

Queste tuttavia non sono scelte possibili, poiché dipendono dalla conoscenza (tramite $p''$ ) della densità sconosciuta $p$ - quindi sono quantità "oracolari".

Una proposta di Tsybakov implica che il MISE asintotico per l'oracolo di Epanechnikov è:

$$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$$

Tsybakov afferma che (2) viene spesso affermato come il MISE migliore ottenibile, ma poi mostra che si possono usare kernel di ordine 2 (per cui $S_K =0$ ) per costruire stimatori del kernel, per ogni $\varepsilon >0$ , in modo tale che

$$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$$

Anche se p n non è necessariamente non negativo, si ha ancora lo stesso risultato per la parte stimatore positivo, p + n : = max ( 0 , p n ) (che è garantito per essere non negativo anche se K non è):$\hat{p}_n$$p_n^+ := \max(0, \hat{p}_n)$$K$

$$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$$

Pertanto, per $\varepsilon$ abbastanza piccolo, esistono veri stimatori che hanno MISE asintotico più piccolo dell'oracolo di Epanechnikov , anche usando gli stessi presupposti sulla densità sconosciuta $p$ .

In particolare, si ha di conseguenza che l'infimo del MISE asintotico per una $p$ fissa su tutti gli stimatori del kernel (o parti positive degli stimatori del kernel) è $0$ . Quindi l'oracolo di Epanechnikov non è nemmeno vicino a essere ottimale, anche se confrontato con veri stimatori.

Il motivo per cui le persone hanno avanzato l'argomento per l'oracolo di Epanechnikov in primo luogo è che spesso si sostiene che il kernel stesso dovrebbe essere non negativo perché la densità stessa non è negativa. Ma come sottolinea Tsybakov, non si deve presumere che il kernel sia non negativo per ottenere stimatori di densità non negativi, e consentendo ad altri kernel si possono stimatori di densità non negativi che (1) non sono oracoli e (2) eseguire arbitrariamente meglio dell'oracolo di Epanechnikov per un $p$ fisso . Tsybakov usa questa discrepanza per sostenere che non ha senso discutere di ottimalità in termini di una $p$ fissa , ma solo per proprietà di ottimalità che sono uniformi su una classedi densità. Sottolinea inoltre che l'argomento funziona ancora quando si utilizza MSE anziché MISE.

EDIT: vedi anche Corollary 1.1. a p.25, in cui il kernel Epanechnikov viene mostrato come inammissibile in base a un altro criterio. Tsybakov sembra davvero non amare il kernel Epanechnikov.

Il kernel gaussiano viene utilizzato ad esempio nella stima della densità tramite derivati:

$$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$$

Questo perché il kernel di Epanechnikov ha 3 derivati ​​prima che sia identicamente zero, a differenza del gaussiano che ha infinitamente molti derivati ​​(diversi da zero). Vedere la sezione 2.10 nel collegamento per ulteriori esempi.