Esiste uno stimatore imparziale della distanza di Hellinger tra due distribuzioni?

In un'impostazione in cui si osserva $X_1,\ldots,X_n$ distribuito da una distribuzione con densità $f$ , mi chiedo se esiste uno stimatore imparziale (basato sulla $X_i$ ) della distanza di Hellinger ad un'altra distribuzione con densità $f_0$ , vale a dire

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
fonte

Quindi f0 è noto e risolto. Ma è noto o da una famiglia parametrica o lo sta facendo in un quadro non parametrico con tutto quello che sai su f proveniente dal tuo campione? Penso che faccia la differenza quando si tenta una risposta.

— Michael R. Chernick,

@MichaelChernick: supponiamo che tutto ciò che sai di

sia il campione

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Xi'an,

Non penso che sia stato calcolato (se esiste). Se esiste, allora AIC ha un fratello perduto.

Un attacco a questo problema sembra fattibile se si assume

f

$f$

f_{0}

$f_0$ sono discreti. Ciò porta a uno stimatore ovvio (calcolare la distanza di Hellinger tra EDF e

). Il bootstrap (teoricamente, non tramite simulazione!) Ci darà una mano sui possibili pregiudizi e un modo per ridurre (o addirittura eliminare) i pregiudizi. Tendo qualche speranza di riuscire con la distanza al quadrato piuttosto che con la distanza stessa, perché è matematicamente più tracciabile. L'assunzione di una

discreta non è un problema nelle applicazioni; lo spazio di

discreta è comunque un sottoinsieme denso.

f_{0}

$f_0$

f

$f$

f

$f$

— whuber

Mi viene in mente la prova di Rosenblatt che non esiste uno stimatore imparziale "in buona fede" di

. Possiamo superarlo e ottenere uno stimatore senza limiti di

f

$f$

? Non lo so.

H (f, f_{0})

$H(f,f_0)$

— Zen,

Risposte:

Nessuno stimatore imparziale esiste o di per da qualsiasi classe di distribuzioni non parametrica ragionevolmente ampia. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Possiamo dimostrarlo con l'argomentazione meravigliosamente semplice di

Bickel e Lehmann (1969). Stima non distorta in famiglie convesse . The Annals of Mathematical Statistics, 40 (5) 1523-1535. ( progetto euclid )

Correggi alcune distribuzioni , e , con densità corrispondenti , e . Let denotano , e lasciare che è un po 'estimatore di sulla base di campioni iid . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Supponiamo che è distorto per campioni da qualsiasi distribuzione del modulo $\hat H$ Ma poi

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

cosicché

deve essere un polinomio in

di laurea al massimo

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Ora, specializziamoci in un caso ragionevole e mostriamo che la corrispondente non è polinomiale. $Q$

Sia una distribuzione che abbia densità costante su : per tutti . (Il suo comportamento al di fuori di questo intervallo non ha importanza.) Sia una distribuzione supportata solo su e una distribuzione supportata solo su . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Ora dove

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

e così per

. Si noti che

per tutte le distribuzioni

che hanno una densità.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

non è un polinomio di alcun grado finito. Pertanto, nessuna stimatore può essere distorto persu tutte le distribuzionicon un numero finito di campioni. $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

Allo stesso modo, perché è anche un polinomio, non esiste uno stimatore perche sia imparziale su tutte le distribuzionicon finitamente molti campioni. $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Ciò esclude praticamente tutte le classi ragionevoli di distribuzioni non parametriche, ad eccezione di quelle con densità limitate al di sotto (ipotesi che talvolta non fanno analisi). Probabilmente potresti anche uccidere quelle classi con un argomento simile semplicemente rendendo costanti le densità o qualcosa del genere.

— Dougal
fonte

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$ , and a random sample $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
fonte

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal