Motivo intuitivo per cui l'informazione Fisher del binomio è inversamente proporzionale a

Mi confonde / sbalordisce che il binomio abbia una varianza proporzionale a . Allo stesso modo, le informazioni di Fisher sono proporzionali a . Qual è la ragione di ciò? Perché le informazioni Fisher sono ridotte al minimo a ? Cioè, perché l'inferenza è più difficile a ?$p(1-p)$ p=0,5p=$\frac{1}{p(1-p)}$$p=0.5$$p=0.5$

Contesto:

Sto lavorando su un calcolatore delle dimensioni del campione e la formula per , la dimensione del campione necessaria, è un fattore crescente di , il risultato di una stima della varianza nella derivazione.p ( 1 - p $N$$p(1-p)$

Per vedere, in modo intuitivo, che la varianza è massimizzata a , prendere uguale a (risp. ). Quindi un campione da conterrà probabilmente molti (resp. ) e solo alcuni (resp. ). Non c'è molta variazione lì.p 0,99 p = 0,01 X ∼ Bernoulli ( p ) 1 0 0 $p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

L'inferenza è "difficile" per 'nel mezzo, perché un campione con vicino al centro è coerente con un intervallo più ampio di . Vicino alle estremità, non può essere così lontano - perché le estremità sono "barriere" oltre le quali non può andare.p p $p$$\hat p$$p$$p$

Penso che l'intuizione sia più semplice se vista in termini di varianza, però.

L'intuizione sulla varianza di un binomio essendo grande al centro e piccola alle estremità è piuttosto semplice: vicino agli endpoint non c'è spazio per "diffondere" i dati. Considera piccolo - poiché la media è vicina a 0, la variazione non può essere grande - per i dati in media può arrivare solo così lontano dalla media.$p$$p$

Consideriamo la varianza di una proporzione campionaria in una serie di prove di Bernoulli. Qui . Quindi tenendo fisso e variando , la variazione è molto più piccola per vicino a 0:n p $\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

Proporzione del campione in campioni binomiali - qui è solo un'uniforme casuale; la custodia blu ha media 0,03, la media nera 0,5 (alcuni jitter aggiunti in modo che i punti non si accumulino troppo e perdano dettagli) $y$

Le funzioni di probabilità corrispondenti:

In ogni caso, prestare attenzione alle linee che indicano la media. Man mano che la linea media diventa più "inceppata" contro la barriera, i punti al di sotto della media possono arrivare solo leggermente in basso.

Di conseguenza, i punti sopra la media non possono in genere andare troppo al di sopra della media (perché altrimenti la media si sposterebbe!). Vicino a gli endpoint non "spingono verso l'alto" proprio come succede quando c'è una barriera lì.$p = \frac{1}{2}$

Allo stesso tempo vediamo perché la distribuzione deve essere inclinata alle estremità; affinché la variabile casuale sia anche in qualche momento superiore alla media di più di , è necessario che vi sia un'aumentata probabilità di conseguire una differenza al di sotto della media possibile. Quella barriera incombente a 0 dà sia un limite alla variabilità che porta all'asimmetria.$\hat p$$p$

[Questa forma di intuizione non ci dice perché prende quell'esatta forma funzionale, ma chiarisce perché la varianza deve essere piccola vicino alle estremità e diventare più piccola più vicina alle estremità che vai.]

Le informazioni di Fisher sono la varianza della funzione di punteggio. Ed è legato all'entropia. Per una prova Bernoulli stiamo ottenendo un po 'per ogni prova. Quindi queste informazioni Fisher hanno proprietà simili a quelle dell'entropia di Shannon, come ci aspetteremmo. In particolare l'entropia ha un massimo a 1/2 e l'informazione ha un minimo a 1/2.