Perché 600 su 1000 sono più convincenti di 6 su 10?

Guarda questo estratto dal "Manuale delle abilità di studio", Palgrave, 2012, di Stella Cottrell, pagina 155:

Percentuale Avviso quando vengono fornite le percentuali.
Supponiamo, invece, che la frase sopra reciti:

Il 60% delle persone preferiva le arance; Il 40% ha dichiarato di preferire le mele.

Sembra convincente: vengono fornite quantità numeriche. Ma la differenza tra il 60% e il 40% è significativa ? Qui avremmo bisogno di sapere quante persone sono state invitate. Se a 1000 persone fosse chiesto di chi 600 arance preferite, il numero sarebbe persuasivo. Tuttavia, se sono state chieste solo 10 persone, il 60% significa semplicemente che 6 persone preferiscono le arance. "60%" sembra convincente in un modo in cui "6 su 10" non lo è. Come lettore critico, devi cercare le percentuali utilizzate per rendere impressionanti i dati insufficienti.

Qual è questa caratteristica chiamata in statistica? Vorrei saperne di più.

Vorrei elencare un altro esempio intuitivo.

Supponiamo che ti dica che posso prevedere l'esito di qualsiasi lancio di una moneta. Non credi e vuoi mettere alla prova le mie capacità.

Hai provato 5 volte e ho capito bene. Credi che io abbia l'abilità speciale? Forse no. Perché posso risolverli tutti per caso. (In particolare, supponiamo che la moneta sia una moneta giusta e che ogni esperimento sia indipendente, quindi posso ottenere tutti i diritti con senza alcun superpotere. Vedi il link di Shufflepants per una battuta al riguardo).$0.5^5\approx0.03$

D'altra parte, se mi hai provato un gran numero di volte, è molto improbabile che io riesca a capirlo per caso. Ad esempio, se hai provato volte, la probabilità che io riesca a risolverli tutti è .0,5 100 ≈ $100$$0.5^{100}\approx 0$

Il concetto statistico si chiama potere statistico, da Wikipeida

La potenza di un test di ipotesi binaria è la probabilità che il test rifiuti correttamente l'ipotesi nulla (H0) quando l'ipotesi alternativa (H1) è vera.

Tornando al super power sull'esempio del lancio della moneta, essenzialmente vuoi eseguire un test di ipotesi.

• Ipotesi nulla (H0): non ho il superpotere
• Ipotesi alternativa (H1): ho il superpotere

Ora, come puoi vedere nell'esempio numerico (testami 5 volte vs testami 100 volte), il potere statistico è stato influenzato dalla dimensione del campione.

Altro da leggere qui . (più tecnico e basato sul test t).

Uno strumento interattivo per comprendere il potere statistico può essere trovato qui . Nota, la potenza statistica cambia con la dimensione del campione!

$\mu = \frac{\text{# of sucesses}}{n}$

$\sqrt{\frac{\mu(1-\mu)}{n}}$$\approx .155$$\approx .0155$

Questo concetto è una conseguenza della legge dei grandi numeri . Da Wikipedia ,

Secondo la legge, la media dei risultati ottenuti da un gran numero di prove dovrebbe essere vicina al valore atteso e tenderà ad avvicinarsi man mano che vengono eseguite più prove.

I risultati di un piccolo campione possono essere più lontani dal valore atteso di quello di un campione più grande. E così, come indicato nella domanda, si dovrebbe essere cauti sui risultati calcolati da piccoli campioni. L'idea è anche spiegata abbastanza bene in questo video di YouTube .

Siamo nella situazione di stimare una quantità di popolazione in base a una quantità di campione. In questo caso, stiamo usando le proporzioni del campione per stimare le proporzioni della popolazione, ma il principio è considerevolmente più generale.

$1$$0$$1$$0$$1$

Quando prendiamo campioni sempre più grandi (usando campionamenti casuali), i mezzi di campionamento tenderanno a convergere verso la media della popolazione. (Questa è la legge di grandi numeri.)

Tuttavia, ciò di cui vogliamo veramente avere un'idea di quanto potremmo essere lontani (come potrebbe essere rappresentato dalla larghezza di un intervallo di confidenza per la proporzione o dal margine di errore, che normalmente è la metà di tale larghezza) .

$\frac{_1}{^{20}}$

$\frac{_1}{^\sqrt{n}}$

Di conseguenza, siamo più sicuri dell'accuratezza della nostra stima quando il campione è grande - se ripetessimo nuovamente il nostro esperimento, altri mezzi simili sarebbero vicini a quello attuale - si raggruppano sempre più strettamente, e perché (in questo caso) la nostra stima è imparziale, si stanno raggruppando intorno ai valori che stiamo cercando di stimare. Una singola media campionaria diventa sempre più informativa su dove potrebbe essere la media della popolazione.

Una regola empirica per "contare" le statistiche, come contare il numero di persone a cui piacciono le arance o contare il numero di "clic" in un contatore Geiger a causa del decadimento radioattivo, è che il margine di errore per il conteggio è all'incirca il quadrato radice del valore di conteggio atteso. Le statistiche di conteggio sono note come statistiche di Poisson.

La radice quadrata di 6 è 2,4-ish, quindi il margine di errore è di circa il 40% (2.4 / 6). La radice quadrata di 600 è 24 ish, quindi il margine di errore è di circa il 4% (24/600). Ecco perché il conteggio di 600 è più significativo del conteggio 6. L'errore relativo è di un decimo.

Sono un po 'sciatto sulla definizione di margine di errore. È davvero il valore di 1 sigma, e non è un valore limite, ma è l'intervallo in cui ci si aspetta che la maggior parte (68%) delle misure risieda. Quindi, se ti aspetti 6 mangiatori di arance, ti aspetteresti che una serie di sondaggi ti dia per lo più numeri nell'intervallo da 4 a 8, come 6,6,5,6,7,2,4,6,3,5,6, 6,7,6,10,8,6,5,6,6,9,3,7,8.

Non ho il nome che stai cercando, ma il problema non è statistico. Psicologicamente, il modo in cui gli esseri umani elaborano i numeri nel nostro cervello conferisce maggior peso (autorità) a numeri più grandi di quanto non faccia a numeri più piccoli perché la grandezza (dimensione fisica) è visivamente importante quanto il valore rappresentativo. Pertanto, 600/1000 appare più credibile del 6/10. Questo è il motivo per cui gli acquirenti preferiscono vedere "10% di sconto!" per valori inferiori a 100 e "Risparmia $ 10!" per valori superiori a 100 (chiamato "Regola di 100"). Si tratta di come il nostro cervello reagisce alla percezione.

Uno sguardo sorprendente su questo e simili tipi di fenomeni sono discussi da Nick Kolenda nel suo trattato online, " Una guida enorme alla psicologia dei prezzi ".

Mentre il margine di errore effettivo è importante, la ragione per cui sembra più convincente è a causa di un'esperienza più euristica (regola empirica) con le persone. L'effettivo margine di errore conferma che questa euristica ha valore.

Se il campione è 6 a favore e 4 contro, questo potrebbe essere 50/50 se una singola persona cambia il proprio voto o una singola persona viene registrata per errore. Ci sono solo altre due persone sul lato 6. Tutti conoscono due fiocchi, tutti sanno che il campione potrebbe essere selezionato con cura: hai chiesto solo cameriere e nessun altro. Oppure hai interrogato solo 10 professori universitari nelle sale di un'università. Oppure hai chiesto a 10 persone benestanti al di fuori di Saks Fifth Avenue.

Anche il margine matematico di errore presume la vera casualità e non tiene conto del bias di selezione, del bias di auto-selezione o di qualsiasi altra cosa, le persone possono comprenderlo intuitivamente.

Al contrario, il risultato tra 600 e 400 ha 200 persone in più da una parte e 100 persone dovrebbero cambiare idea. Questi numeri sono molto difficili da trovare (ma non impossibile) da un incidente su dove stavi sondando, come hai fatto concordare le persone, come gli individui hanno capito o interpretato la domanda, ecc.

È più convincente non per una prova matematica che dovrebbe essere, ma perché sappiamo per esperienza che una folla di 1000 ha molte più probabilità di essere diverse nelle loro opinioni (su qualsiasi cosa) rispetto a un gruppo di 10. (a meno che tu non lo abbia fatto segretamente il tuo sondaggio durante una convention di partito politico o una manifestazione del KKK o qualcos'altro che potrebbe attirare una folla unilaterale).

La matematica quantifica con precisione solo ciò che già sappiamo per intuizione; che è più facile incontrare casualmente uno o due voti vaganti su 10, piuttosto che incontrare casualmente 100 o 200 voti vaganti su 1000.

Qualcosa che non è stato menzionato è guardare il problema da un punto di vista bayesiano.

$p$$p$

$\beta=\alpha$$\beta=\alpha=1$$p$$\mathrm{U}(0,1)$

$n$$n_o$$n_a=n-n_o$

$p$

$p$$n_o/(n_o+n_a)$$n$

$n_o=6$$n_a=4$

$n_o=600$$n_a=400$

$p=0.4$$p=0.8$

Si noti che sebbene queste trame appaiano simili a quelle di david25272, rappresentano qualcosa di molto diverso .

$p$$n_o$

$n_o$$p$

La breve risposta:

Fondamentalmente è più convincente avere 600 su 1000 che sei su 10 perché, date le stesse preferenze, è molto più probabile che 6 su 10 si verifichino per caso.

Partiamo dal presupposto che la proporzione che ha preferito le arance e le mele è effettivamente uguale (quindi, il 50% ciascuno). Chiamalo un'ipotesi nulla. Date queste pari probabilità, la probabilità dei due risultati è:

• Dato un campione di 10 persone, c'è una probabilità del 38% di ottenere casualmente un campione di 6 o più persone che preferiscono le arance (che non è poi così improbabile).
• Con un campione di 1000 persone, vi è meno di 1 su un miliardo di possibilità di avere 600 o più persone su 1000 che preferiscono le arance.

(Per semplicità sto assumendo una popolazione infinita da cui estrarre un numero illimitato di campioni).

Una derivazione semplice

Un modo per ottenere questo risultato è semplicemente elencare i potenziali modi in cui le persone possono combinarsi nei nostri campioni:

Per dieci persone è facile:

Prendi in considerazione la possibilità di prelevare campioni di 10 persone a caso da una popolazione infinita di persone con pari preferenze per mele o arance. A parità di preferenze è facile elencare semplicemente tutte le potenziali combinazioni di 10 persone:

Ecco l'elenco completo.

r   C (n=10)    p
10  1       0.09766%
9   10      0.97656%
8   45      4.39453%
7   120     11.71875%
6   210     20.50781%
5   252     24.60938%
4   210     20.50781%
3   120     11.71875%
2   45      4.39453%
1   10      0.97656%
0   1       0.09766%
    1024    100%

r è il numero di risultati (persone che preferiscono le arance), C è il numero di possibili modi in cui molte persone preferiscono le arance e p è la probabilità discreta che ne risulta di molte persone che preferiscono le arance nel nostro campione.

(p è solo C diviso per il numero totale di combinazioni. Nota che ci sono 1024 modi per organizzare queste due preferenze in totale (cioè 2 alla potenza di 10).

• Ad esempio, esiste un solo modo (un campione) per 10 persone (r = 10) per preferire tutte le arance. Lo stesso vale per tutte le persone che preferiscono le mele (r = 0).
• Esistono 10 diverse combinazioni che ne determinano nove preferendo le arance. (Una persona diversa preferisce le mele in ciascun campione).
• Ci sono 45 campioni (combinazioni) in cui 2 persone preferiscono mele, ecc. Ecc.

(In generale parliamo di n C r combinazioni di risultati r da un campione di n persone. Ci sono calcolatori online che puoi usare per verificare questi numeri.)

Questo elenco ci consente di darci le probabilità sopra usando solo la divisione. C'è una probabilità del 21% di ottenere 6 persone nel campione che preferiscono le arance (210 su 1024 delle combinazioni). La possibilità di ottenere sei o più persone nel nostro campione è del 38% (la somma di tutti i campioni con sei o più persone, o 386 combinazioni su 1024).

Graficamente, le probabilità si presentano così:

Con numeri più grandi, il numero di potenziali combinazioni cresce rapidamente.

Per un campione di sole 20 persone ci sono 1.048.576 possibili campioni, tutti con uguale probabilità. (Nota: ho mostrato solo ogni seconda combinazione di seguito).

r    C (n=20)   p
20   1          0.00010%
18   190        0.01812%
16   4,845      0.46206%
14   38,760     3.69644%
12   125,970    12.01344%
10   184,756    17.61971%
8    125,970    12.01344%
6    38,760     3.69644%
4    4,845      0.46206%
2    190        0.01812%
0    1          0.00010%
     1,048,576  100%

C'è ancora solo un campione in cui tutte e 20 le persone preferiscono le arance. Le combinazioni che presentano risultati misti sono molto più probabili, semplicemente perché ci sono molti più modi in cui le persone nei campioni possono essere combinate.

I campioni distorti sono molto più improbabili, solo perché ci sono meno combinazioni di persone che possono risultare in quei campioni:

Con solo 20 persone in ciascun campione, la probabilità cumulativa di avere il 60% o più (12 o più) persone nel nostro campione preferendo le arance scende a solo il 25%.

La distribuzione di probabilità può essere vista diventare più sottile e più alta:

Con 1000 persone i numeri sono enormi

Possiamo estendere gli esempi sopra a campioni più grandi (ma i numeri crescono troppo rapidamente perché sia ​​possibile elencare tutte le combinazioni), invece ho calcolato le probabilità in R:

r   p (n=1000)
1000    9.332636e-302
900     5.958936e-162
800     6.175551e-86
700     5.065988e-38
600     4.633908e-11
500     0.02522502
400     4.633908e-11
300     5.065988e-38
200     6.175551e-86
100     5.958936e-162
0       9.332636e-302

La probabilità cumulativa di avere 600 o più su 1000 persone preferisce le arance è solo 1.364232e-10.

La distribuzione delle probabilità è ora molto più concentrata attorno al centro:

[

(Ad esempio per calcolare la probabilità di esattamente 600 su 1000 persone che preferiscono le arance nell'uso R dbinom(600, 1000, prob=0.5)che equivale a 4.633908e-11, e la probabilità di 600 o più persone è 1-pbinom(599, 1000, prob=0.5), che equivale a 1.364232e-10 (meno di 1 su un miliardo).

Questo perché un numero più alto garantisce una maggiore precisione. Ad esempio, se raccogliessi 1000 persone a caso da qualsiasi parte del pianeta e 599 di loro fossero maschi contro 10 persone a caso con 6 maschi, il primo sarebbe più preciso. Allo stesso modo, se si assume una popolazione di 7 miliardi e si calcola il numero di maschi, si otterrebbe un numero più preciso che sarebbe ovviamente più convincente rispetto a solo 1000 persone.