Data la dimensione del campione abbastanza grande, un test mostrerà sempre risultati significativi a meno che la dimensione reale dell'effetto sia esattamente zero. Perché?

Sono curioso di una richiesta fatta nell'articolo di Wikipedia sulla dimensione dell'effetto . In particolare:

[...] un confronto statistico non nullo mostrerà sempre risultati statisticamente significativi a meno che la dimensione dell'effetto della popolazione non sia esattamente zero

Non sono sicuro di cosa significhi / implichi, per non parlare di un argomento a sostegno. Dopo tutto, immagino che un effetto sia una statistica, cioè un valore calcolato da un campione, con una sua distribuzione. Questo significa che gli effetti non sono mai dovuti solo a variazioni casuali (che è ciò che capisco significa non essere significativo)? Consideriamo quindi solo se l'effetto è abbastanza forte, con un valore assoluto elevato?

Sto prendendo in considerazione l'effetto che conosco di più: il coefficiente di correlazione di Pearson r sembra contraddire questo. Perché ogni $r$ dovrebbe essere statisticamente significativo? Se $r$ è piccolo, la nostra linea di regressione

$$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$$

Per $\epsilon$ piccolo, è vicino a 0, un test F conterrà probabilmente un intervallo di confidenza contenente 0 per la pendenza. Non è un controesempio?

Come semplice esempio, supponiamo che stia valutando la tua altezza usando un jumbo statico di mumbo.

Hai sempre affermato agli altri che sei 177 cm (circa 5 piedi e 10 pollici).

Se dovessi verificare questa ipotesi (che la tua altezza è pari a 177 cm, ), e potrei ridurre abbastanza l'errore nella mia misurazione, allora potrei dimostrare che in realtà non sei 177 cm. Alla fine, se stimassi la tua altezza con abbastanza cifre decimali, quasi sicuramente ti discosteresti dall'altezza dichiarata di 177.00000000 cm. Forse sei 177,02 cm; Devo solo ridurre il mio errore a meno di 0,02 per scoprire che non sei 177 cm.$h = 177$

Come posso ridurre l'errore nelle statistiche? Ottieni un campione più grande. Se si ottiene un campione abbastanza grande, l'errore diventa così piccolo che è possibile rilevare le deviazioni più minuscole dall'ipotesi nulla.

Come sottolinea @Kodiologist, si tratta in realtà di ciò che accade per campioni di grandi dimensioni. Per campioni di piccole dimensioni non c'è motivo per cui non si possano avere falsi positivi o falsi negativi.

Penso che lo -test chiarisca il caso asintotico. Supponiamo di avere X 1 , ... , X n iid ∼ N ( μ , 1 ) e vogliamo testare H 0 : μ = 0 vs H A : μ ≠ 0 . La nostra statistica test è Z n = ˉ X n - $z$$X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$$H_0: \mu = 0$$H_A: \mu \neq 0$

$$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$$

quindiZn=$\bar X_n \sim \mathcal N(\mu, \frac 1n)$. Siamo interessati aP(|Zn|≥α). P(|Zn|≥α)=P(Zn≤-α)+P(Zn≥α)=1+Φ(-α-μ$Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$$P(|Z_n| \geq \alpha)$

$$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$$ SiaY∼N(0,1) lanostra variabile di riferimento. SottoH0μ=0,quindi abbiamoP(|Zn|≥α)=1-P(-α≤Y≤α),quindi possiamo scegliereαper controllare il nostro tasso di errore di tipo I come desiderato. Ma sottoHAμ $$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$$ $Y \sim \mathcal N(0,1)$$H_0$ $\mu = 0$$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$$\alpha$$H_A$ quindi P(|Zn|≥α)→1+Φ(±∞)-Φ(±∞)=1 quindi con probabilità 1 rifiuteremoH0seμ≠0(il±è in caso diμ<0, ma in entrambi i casi gli infiniti hanno lo stesso segno).$\mu \sqrt n \neq 0$ $$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$$ $H_0$$\mu \neq 0$$\pm$$\mu < 0$

Il punto è che se esattamente uguale a 0, la nostra statistica test ha la distribuzione di riferimento e rifiuteremo il 5% (o qualunque cosa scegliamo) del tempo. Ma se μ non è esattamente 0 , allora la probabilità che ci rifiutiamo teste a 1 come n aumenta. L'idea qui è la coerenza di un test, che è che sotto H A la potenza (probabilità di rigetto) va a 1 come n → ∞ .$\mu$ $0$$\mu$$0$$1$$n$$H_A$$1$$n \to \infty$

$H_0 : \rho = \rho_0$$H_A: \rho \neq \rho_0$$1$

Probabilmente ciò che hanno detto è sbagliato, se non altro per il loro uso di "questo accade sempre ".

Non so se questo è il nocciolo della confusione che stai avendo, ma lo posterò perché penso che molti lo facciano e ne rimarrò confuso:

$X$$n$$n > n_0$$X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

Ciò che stanno letteralmente dicendo si traduce in quanto segue:

$n$$n_0$

Quello che stavano cercando di dire, tuttavia, è il seguente:

Per qualsiasi livello di significatività, all'aumentare della dimensione del campione, la probabilità che un test non nullo produca un risultato significativo si avvicina a 1 se la dimensione dell'effetto reale non è esattamente zero.

Ci sono differenze cruciali qui:

• Non c'è garanzia È più probabile che tu ottenga un risultato significativo con un campione più grande. Ora, potrebbero schivare parte della colpa qui, perché finora è solo un problema di terminologia. In un contesto probabilistico, si è capito che l'affermazione "se n è abbastanza grande allora X" può anche essere interpretato nel senso "X diventa sempre più probabile che sia vero, come n cresce di grandi dimensioni" .
  Tuttavia, questa interpretazione esce dalla mia finestra non appena dicono che ciò accade "sempre". La terminologia corretta qui sarebbe stata quella di dire che ciò accade " con alta probabilità " ¹ .

• 
  $n > n_0$

Ma una volta che capisci la letteratura, ottieni quello che stanno cercando di dire.

(Nota a margine: per inciso, questo è esattamente uno dei problemi costanti che molte persone hanno con Wikipedia. Spesso, è possibile capire cosa stanno dicendo solo se si conosce già il materiale, quindi è utile solo come riferimento o come promemoria , non come materiale autodidatta.)

_{¹ Per gli altri pedanti (ciao!), Sì, il termine ha un significato più specifico di quello a cui mi sono collegato. Il termine tecnico più lento che probabilmente desideriamo qui è "asintoticamente quasi sicuramente" . Vedi qui .}

Il mio esempio preferito è il numero di dita per sesso. La stragrande maggioranza delle persone ha 10 dita. Alcuni hanno perso le dita a causa di incidenti. Alcuni hanno dita extra.

Non so se gli uomini hanno più dita delle donne (in media). Tutte le prove facilmente disponibili suggeriscono che uomini e donne hanno entrambi 10 dita.

Tuttavia, sono fiducioso che se avessi fatto un censimento di tutti gli uomini e tutte le donne, avrei imparato che un genere ha più dita (in media) dell'altro.