Perché l'errore standard di una proporzione, per una data n, è maggiore di 0,5?

L'errore standard di una proporzione sarà il più grande che può essere per una data N quando la proporzione in questione è 0,5 e diventa più piccola quanto più la proporzione è da 0,5. Posso capire perché è così quando guardo l'equazione per l'errore standard di una proporzione, ma non posso spiegarlo ulteriormente.

C'è una spiegazione oltre le proprietà matematiche della formula? In tal caso, perché c'è meno incertezza riguardo alle proporzioni stimate (per una data N) man mano che si avvicinano a 0 o 1?

Background e terminologia

Per essere perfettamente chiari di cosa stiamo discutendo, stabiliamo alcuni concetti e una terminologia. Un modello gradevole per le proporzioni è l'urna binaria: contiene palline colorate in argento ("successo") o fucsia ("fallimento"). La proporzione di sfere d'argento nell'urna è (ma questa non è la "proporzione" di cui parleremo). $p$

Questa urna fornisce un modo per modellare una prova di Bernoulli . Per ottenere una realizzazione, mescola accuratamente le palline e ne estrae ciecamente una, osservandone il colore. Per ottenere ulteriori realizzazioni, ricostituire prima la scatola restituendo la palla tirata, quindi ripetere la procedura un numero predeterminato di volte. La sequenza di realizzazioni può essere sintetizzata dal conte di suoi successi, . È una variabile casuale le cui proprietà sono completamente determinate da e . La distribuzione di è chiamata distribuzione binomiale . La proporzione (sperimentale o "campione") è il rapportoX n p X ( n , p ) X /$n$$X$$n$$p$$X$$(n,p)$$X/n$.

Queste cifre sono grafici a barre delle distribuzioni di probabilità per varie proporzioni binomiali . Il più degno di nota è un modello coerente, indipendentemente da , in cui le distribuzioni diventano più strette (e le barre corrispondentemente più alte) mentre sposta da in giù.n p 1 /$X/n$$n$$p$$1/2$

La deviazione standard di è l' errore standard della proporzione menzionato nella domanda. Per ogni dato , questa quantità può dipendere solo da . Chiamiamolo . Cambiando i ruoli delle palle - chiama "fallimenti" quelli argento e quelli "fucsia" successi - è facile vedere che . Quindi la situazione in cui - cioè, deve essere speciale. La domanda riguarda come varia quando sposta da verso un valore più estremo, comen p se ( p ) se ( p ) = se ( 1 - p ) p = 1 - p p = 1 / 2 se ( p ) p 1 / 2 $X/n$$n$$p$$\operatorname{se}(p)$$\operatorname{se}(p) = \operatorname{se}(1-p)$$p=1-p$$p=1/2$$\operatorname{se}(p)$$p$$1/2$$0$.

Conoscenza vs comprensione

Poiché a tutti sono stati mostrati numeri come questi all'inizio della loro educazione, tutti "conoscono" l'ampiezza delle trame - che sono misurate da deve diminuire quando si allontana da . Ma quella conoscenza è davvero solo esperienza, mentre la domanda cerca una comprensione più profonda. Tale comprensione è disponibile da un'attenta analisi delle distribuzioni binomiali, come Abraham de Moivre intrapresa circa 300 anni fa. (Erano affini allo spirito di quelli che ho presentato in una discussione sul Teorema del limite centrale .) Penso, tuttavia, che alcune considerazioni relativamente semplici potrebbero essere sufficienti per sottolineare che le larghezze devono essere più ampie vicino a .p 1 / 2 p = 1 /$\operatorname{se}(p)$$p$$1/2$$p=1/2$

Un'analisi intuitiva semplice

È chiaro che dovremmo aspettarci che la percentuale di successi nell'esperimento sia vicina a . L'errore standard riguarda quanto lontano da tale aspettativa potremmo ragionevolmente supporre che il risultato effettivo risiederà. Supponendo, senza alcuna perdita di generalità, che sia compreso tra e , cosa sarebbe necessario per aumentare da ? Tipicamente, intorno a delle palline disegnate in un esperimento c'erano argento e (quindi) intorno a erano fucsia. Per ottenere più palline d'argento, alcune di quelle in$p$p 0 1 / 2 X / n p p n ( 1 - p ) n p n p p X p × ( 1 - p ) n X / n p ( 1 - p ) n / n = p ( 1 - p $X/n$$p$$0$$1/2$$X/n$$p$$pn$$(1-p)n$$p n$i risultati fucsia dovevano essere diversi. Quanto è probabile che questa possibilità possa operare in questo modo? La risposta ovvia è che quando è piccolo, non è mai molto probabile che disegneremo una palla d'argento. Pertanto, le nostre possibilità di disegnare palle d'argento anziché fucsia sono sempre basse. Potremmo ragionevolmente sperare che per pura fortuna, una proporzione degli esiti fucsia avrebbe potuto differire, ma sembra improbabile che molti di più di questi sarebbero cambiati. Pertanto, è plausibile che non varierebbe di molto più di . Equivalentemente, non varierebbe di molto più di .$p$$p$$X$$p\times (1-p)n$$X/n$$p(1-p)n/n = p(1-p)$

Il Denouement

Appare quindi la combinazione magica . $p(1-p)$ p = 1 / 2 p = 0 p = 1 Questo risolve praticamente la domanda: ovviamente questa quantità raggiunge il picco in e diminuisce a zero in o . Fornisce una giustificazione intuitiva ma quantitativa per affermazioni secondo cui "un estremo è più limitante dell'altro" o altri sforzi simili per descrivere ciò che sappiamo.$p=1/2$$p=0$$p=1$

Tuttavia, non è proprio il valore corretto: esso indica semplicemente il modo in cui, ci dice che quantità dovrebbe avere importanza per stimare la diffusione di . Abbiamo ignorato il fatto che anche la fortuna tende ad agire contro di noi: proprio come alcune sfere fucsia avrebbero potuto essere d'argento, alcune sfere d'argento potrebbero essere state fucsia. Tenere conto di tutte le possibilità rigorosamente può diventare complicato, ma il risultato è che invece di usare come limite ragionevole di quanto potrebbe deviare dalle sue aspettative , per tenere conto di tutti i possibili risultati che abbiamo correttamente prendere la radice quadrataX p ( 1 - p ) n X p n $p(1-p)$$X$$p(1-p)n$$X$$pn$ nX/n$\sqrt{p(1-p)n}$. (Per un resoconto più attento del perché, visitare ( https://stats.stackexchange.com/a/3904 ). Dividendo per , apprendiamo che le variazioni casuali della proporzione stessa dovrebbero essere nell'ordine di che è l'errore standard di .$n$$X/n$X/$\sqrt{p(1-p)n}/n = \sqrt{\frac{p(1-p)}{n}},$$X/n$

Considera la funzione p (1-p) per 0 <= p <= 1. Usando il calcolo puoi vedere che a p = 1/2 è 1/4 che è il valore massimo. Se vedi che questo è per il binomio relativo alla deviazione standard della stima della proporzione che è sqrt (p (1-p) / n) allora p = 1/2 è il massimo. Quando p = 1 o 0 l'errore standard è 0 perché otterrai sempre tutti 1 o tutti 0 rispettivamente. Quindi, man mano che ci si avvicina a 0 o 1, un argomento di continuità dice che l'errore standard si avvicina a 0 quando p si avvicina a 0 o 1. In effetti diminuisce monotonicamente mentre p si avvicina a 0 o 1. Per n grande la proporzione stimata dovrebbe essere vicina all'attuale proporzione.

La distribuzione binomiale tende ad essere approssimativamente simmetrica (per grandi è approssimativamente normale ).$n$

Poiché il rapporto deve essere compreso tra 0 e 1, l'incertezza sarà limitata da questi limiti. A meno che il rapporto medio non sia esattamente nel mezzo, uno di questi limiti sarà più limitante dell'altro.

Affinché una curva a campana unimodale simmetrica centrata su adatti all'intervallo unitario, la sua mezza larghezza deve essere inferiore a . min $p$$\min[\,p\,,1-p\,]$