Dimensione relativa dei valori di p a diverse dimensioni del campione

Come cambia la dimensione relativa del valore di una p a diverse dimensioni del campione? Come se avessi a per una correlazione e poi a avessi lo stesso valore p di 0.20, quale sarebbe la dimensione relativa del valore p per il secondo test, rispetto al valore p originale quando ?$p=0.20$$n=45$$n=120$$n=45$

Considera di lanciare una moneta che sospetti possa venire fuori testa troppo spesso.

Esegui un esperimento, seguito da un test di ipotesi a una coda. In dieci tiri ottieni 7 teste. Qualcosa di almeno il 50% potrebbe facilmente accadere con una moneta giusta. Niente di insolito lì.

Se invece, ottenessi 700 teste in 1000 lanci, un risultato almeno altrettanto giusto che sarebbe sorprendente per una moneta giusta.

Quindi il 70% delle teste non è affatto strano per una moneta giusta nel primo caso e molto strano per una moneta giusta nel secondo caso. La differenza è la dimensione del campione.

All'aumentare della dimensione del campione, diminuisce la nostra incertezza su dove potrebbe essere la media della popolazione (la proporzione di teste nel nostro esempio). Quindi campioni più grandi sono coerenti con intervalli più piccoli di possibili valori della popolazione - più valori tendono a diventare "esclusi" man mano che i campioni diventano più grandi.

Più dati abbiamo, più precisamente possiamo stabilire dove potrebbe essere la media della popolazione ... quindi un valore fisso della media che è sbagliato sembrerà meno plausibile man mano che le dimensioni del nostro campione diventano grandi. Cioè, i valori di p tendono a diventare più piccoli all'aumentare della dimensione del campione, a meno che non sia vero$H_0$ .

Sono d'accordo con @Glen_b, voglio solo spiegarlo da un altro punto di vista.

Mettiamo l'esempio della differenza di mezzi in due popolazioni. Rifiutare equivale a dire che 0 non è nell'intervallo di confidenza per la differenza di mezzi. Questo intervallo si riduce con n (per definizione), quindi diventerà sempre più difficile per qualsiasi punto (in questo caso, lo zero) essere nell'intervallo man mano che n cresce. Poiché il rifiuto per intervallo di confidenza è matematicamente equivalente al rifiuto per valore p, il valore p si riduce con n.$H_{0}$

Verrà il momento in cui otterrai un intervallo come che indicherà che la prima popolazione ha effettivamente una media più grande della seconda popolazione, ma questa differenza è così piccola che non ti dispiacerebbe. Sarà respingere , ma questo rifiuto abituato media qualsiasi cosa nella vita reale. Questo è il motivo per cui i valori p non sono sufficienti per descrivere un risultato. Bisogna sempre dare una certa misura del FORMATO della differenza osservata.$[0.0001, 0.0010]$$H_0$

Il valore per un test di significatività di un'ipotesi nulla secondo cui una determinata dimensione dell'effetto diversa da zero è effettivamente zero nella popolazione diminuirà all'aumentare della dimensione del campione. Questo perché un campione più ampio che fornisce prove coerenti di tale effetto diverso da zero sta fornendo più prove rispetto allo zero rispetto a un campione più piccolo. Un campione più piccolo offre maggiori possibilità di errore di campionamento casuale per distorcere le stime delle dimensioni dell'effetto, come dimostra la risposta di @ Glen_b. La regressione alla media riduce l'errore di campionamento all'aumentare della dimensione del campione; una stima della dimensione dell'effetto basata sulla tendenza centrale di un campione migliora con la dimensione del campione seguendo il teorema del limite centrale . Pertanto$p$$p$- vale a dire, la probabilità di ottenere più campioni della stessa dimensione e con dimensioni dell'effetto almeno altrettanto forti di quella del campione se li prelevi casualmente dalla stessa popolazione, supponendo che la dimensione dell'effetto in quella popolazione sia effettivamente zero - diminuisce della dimensione del campione aumenta e la dimensione dell'effetto del campione rimane invariata. Se la dimensione dell'effetto diminuisce o la variazione dell'errore aumenta all'aumentare della dimensione del campione, la significatività può rimanere invariata.

Ecco un altro semplice esempio: la correlazione tra e . Qui, Pearson è . Se duplico i dati e collaudo la correlazione di e , ancora, ma . Non ci vogliono molte copie ( ) per avvicinarsi a , mostrato qui:$x=\{1,2,3,4,5\}$$y=\{2,1,2,1,3\}$$r=.378,t_{(3)}=.71,p=.53$$x=\{1,2,3,4,5,1,2,3,4,5\}$$y=\{2,1,2,1,3,2,1,2,1,3\}$$r=.378$$t_{(3)}=1.15,p=.28$$n$$\lim_{n\to\infty} p(n)=0$