Decomposizione MSE a varianza e bias al quadrato

Nel mostrare che MSE può essere scomposto in varianza più il quadrato di Bias, la dimostrazione in Wikipedia ha un passo, evidenziato in figura. Come funziona? In che modo le aspettative vengono inviate al prodotto dal 3 ° al 4 ° passaggio? Se i due termini sono indipendenti, l'aspettativa non dovrebbe essere applicata a entrambi i termini? e se non lo sono, questo passaggio è valido? inserisci qui la descrizione dell'immagine

random-variable expected-value mse

— statBeginner
fonte

Risposte:

Il trucco è che è una costante. $\mathbb{E}(\hat{\theta}) - \theta$

— ADAMO
fonte

Oh, capisco. L'unico sconosciuto qui è lo stimatore. Destra?

— statBeginner

Sì. Accettare le aspettative significa che lo stimatore va su qualunque cosa stia stimando, questo è ciò che rende andare a 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— AdamO

Scusa, quella frase non ha molto senso per me. Se uno stimatore andasse a qualunque cosa stesse stimando, non lo renderebbe imparziale? Può essere spiegato dicendo = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@utente1158559 il termine del prodotto nel mezzo è un tempo costante qualcosa con valore atteso 0. Anche se il cappello theta è distorto, è ancora un tempo costante 0.

— AdamO

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ è una variabile e non una costante. Inoltre, il trucco è meno banale e con una costante non diventa 0 come predefinito (ad esempio ). Il vero trucco sta nel fatto che è la costante (e può essere estratta da un integrale) quindi

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sisto Empirico

La risposta di Adam è corretta riguardo al trucco secondo cui è una costante. Tuttavia aiuta a trovare il risultato finale e non spiega chiaramente la domanda sul passaggio specifico nell'articolo di Wikipedia (modifica: che vedo ora era ambiguo sull'evidenziazione e sul passaggio dalla riga tre alla riga quattro). $E(\hat{\theta}) - \theta$

(nota che la domanda riguarda la variabile , che differisce dalla costante nella risposta di Adam. Ho scritto questo errore nel mio commento. Espandendo i termini per maggiore chiarezza: la variabile è la stima , le costanti sono le aspettative di questa stima e il vero valore ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Trucco 1: considera

la variabile $x=\hat{\theta}$

la costante $a=\mathbb{E}\left[ \hat{\theta} \right]$

e la costante $b = \theta$

Quindi la relazione può essere scritta facilmente usando le regole di trasformazione che esprimono i momenti della variabile su in termini dei momenti della variabile su . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Trucco 2: per il secondo momento la formula sopra ha tre termini nella somma. Possiamo eliminarne uno (il caso ) perché $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Qui si può anche argomentare con qualcosa che è una costante. Vale a dire se è una costante e usando , che è una costante, ottieni . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Più intuitivamente: abbiamo reso il momento di circa , uguale a un momento centrale (e i momenti centrali dispari sono zero). Abbiamo un po 'di tautologia. Sottraendo la media dalla variabile, , generiamo una variabile con zero medio. E la media di "una variabile con zero medio" è zero. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

L'articolo di Wikipedia utilizza questi due trucchi rispettivamente nella terza e quarta riga.

L'attesa nidificata nella terza riga

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

viene semplificato prendendo la parte costante al di fuori di esso (trucco 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Il termine è risolto (come uguale a zero) usando il fatto che la variabile ha zero medio (trucco 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sesto Empirico
fonte

$E(\hat{\theta}) - \theta$ non è una costante.

Il commento di @ user1158559 è in realtà quello corretto:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— piccolo mostro
fonte

Non vedo cosa stai cercando di mostrare. Anche il bias potrebbe non essere zero ma ciò non significa che non sia una costante.

— Michael R. Chernick,

Non è una costante perché dove è un dato dati di allenamento, che è anche una variabile casuale. Pertanto, la sua aspettativa non è una costante.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster,

Inoltre, il fatto che non sia una costante o meno non può spiegare come sia possibile il passaggio 4 dal passaggio 3. D'altra parte, il commento di @ user1158559 lo spiega.

— little_monster,

@Michael, c'è stata confusione riguardo alla domanda. La parte evidenziata contiene questa espressione , ma nel testo della domanda si dice che è invece circa il passaggio dalla terza alla quarta riga, cambiando la nidificazione delle aspettative.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sesto Empirico,