perché l'imparzialità non implica coerenza

Sto leggendo il deep learning di Ian Goodfellow et al. Introduce la distorsione come dove e sono rispettivamente il parametro stimato e il parametro reale sottostante.

B i a s (θ) = E (\hat{θ}) - θ

$Bias(\theta)=E(\hat\theta)-\theta$

\hat{θ}

$\hat\theta$

θ

$\theta$

La coerenza, d'altra parte, è definita da che significa che per qualsiasi , come

{l i m}_{m \to \infty} {\hat{θ}}_{m} = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$

ϵ > 0

$\epsilon > 0$

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$

m \to \infty

$m\to\infty$

Quindi afferma che la coerenza implica imparzialità ma non viceversa:

La coerenza garantisce che la distorsione indotta dallo stimatore diminuisca con l'aumentare del numero di esempi di dati. Tuttavia, non è vero il contrario: l'imparzialità asintotica non implica coerenza. Ad esempio, considerare la stima del parametro medio μ di una distribuzione normale N (x; μ, σ2), con un set di dati costituito da m campioni: . Potremmo usare il primo campione del set di dati come uno stimatore imparziale: . In tal caso, quindi lo stimatore è imparziale, indipendentemente da quanti punti dati sono stati visti. Ciò, ovviamente, implica che la stima è asintoticamente imparziale. Tuttavia, questo non è uno stimatore coerente in quanto non è il caso che come ${x^{(1)}, . . . , x^{(m)}}$ $x^{(1)}$ $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

Non sono sicuro di aver compreso correttamente il paragrafo precedente e i concetti di imparzialità e coerenza, spero che qualcuno possa aiutarmi a verificarlo. Grazie in anticipo.

Per quanto ho capito, la coerenza implica sia imparzialità che bassa varianza e, pertanto, l'imparzialità da sola non è sufficiente per implicare coerenza.

— Può essere
fonte

Se bias = 0 e varianza-> 0, allora è coerente. E se bias-> 0 e varianza-> 0, è coerente; questo è "imparzialità asintotica". Entrambi derivano dal fatto che l'errore al quadrato atteso = deviazione ^ 2 + varianza.

— user54038

Non dice che la coerenza implica imparzialità, dal momento che sarebbe falso. Ad esempio, lo stimatore è uno stimatore coerente per la media del campione, ma non è imparziale. Quello che dice lo snippet sopra è che la coerenza diminuisce la quantità di bias indotta da uno stimatore di bias !. Nel caso della media campionaria, la differenza tra e diventa trascurabile all'aumentare di

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

— Yannis Vassiliadis,

Sei sicuro che sia imparziale? Credo che sia imparziale: 1 / n volte la somma sarebbe distorta.

— eSurfsnake

@eSurfsnake è per la varianza del campione. Per l'esempio intendo che menziono sopra, è sia imparziale che coerente, mentre è solo coerente.

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

— Yannis Vassiliadis,

OK - Pensavo che avessi chiesto la varianza.

— eSurfsnake

Risposte:

In quel paragrafo gli autori stanno dando un esempio estremo per mostrare come essere imparziali non significa che una variabile casuale converge su qualcosa.

Gli autori stanno prendendo un campione casuale e vogliono stimare . Notando che , potremmo produrre uno stimatore imparziale di semplicemente ignorando tutti i nostri dati tranne il primo punto . Ma è chiaramente un'idea terribile, quindi l'imparzialità da sola non è un buon criterio per valutare uno stimatore. In qualche modo, quando otteniamo più dati, vogliamo che il nostro stimatore vari sempre meno da , ed è esattamente quello che dice la coerenza: per qualsiasi distanza , la probabilità che sia maggiore di lontano da $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ va a come . E ciò può accadere anche se per qualsiasi finito è di parte. Un esempio di ciò è lo stimatore di varianza in un campione normale. Questo è parziale ma coerente. $0$ $n \to \infty$ $n$ $\hat \theta$ $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

Intuitivamente, una statistica è imparziale se eguaglia esattamente la quantità target quando viene calcolata la media su tutti i possibili campioni. Ma sappiamo che la media di un mucchio di cose non deve essere in alcun modo vicino alle cose da mediare; questa è solo una versione più elaborata di come la media di e sia , sebbene né né siano particolarmente vicini a (a seconda di come si misura "chiudi"). $0$ $1$ $1/2$ $0$ $1$ $1/2$

Ecco un altro esempio (anche se questo è quasi lo stesso esempio sotto mentite spoglie). Lascia e lascia . Il nostro stimatore di sarà . Nota che quindi abbiamo davvero uno stimatore imparziale. Ma quindi questo stimatore sicuramente non converge su qualcosa vicino a , e per ogni abbiamo ancora . $X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

— JLD
fonte

Anche il contrario è falso. Uno stimatore può avere una propensione e una varianza che vanno entrambe a 0 quando n si avvicina all'infinito rendendolo coerente. Ma per ogni n sarà distorto perché avrà una propensione diversa da zero, ad esempio la stima della varianza con n nel denominatore è distorta e coerente mentre se si divide per n-1 sarà imparziale e consistente.t.

— Michael R. Chernick,

Per quanto ho capito, la coerenza implica sia imparzialità che bassa varianza e, pertanto, l'imparzialità da sola non è sufficiente per implicare coerenza.

Giusto. O usando i termini leggermente più chiari di "accuratezza" per bassa distorsione e "precisione" per bassa varianza, la coerenza richiede che siamo sia accurati che precisi. Essere precisi non significa che stiamo colpendo il bersaglio. È come la vecchia battuta su due statistici che vanno a caccia. Uno manca un cervo di dieci piedi a sinistra. L'altro manca dieci piedi a destra. Si congratulano quindi l'un l'altro sulla base del fatto che, in media, colpiscono il cervo. Anche se il loro pregiudizio è zero, per colpire effettivamente il cervo, hanno bisogno anche di una bassa varianza.

— Acccumulation
fonte