A che livello un test

BACKGROUND: saltare in sicurezza - è qui per riferimento e per legittimare la domanda.

L'apertura di questo documento recita:

"Il famoso test di contingenza chi-quadrato di Karl Pearson è derivato da un'altra statistica, chiamata statistica z, basata sulla distribuzione normale. Le versioni più semplici di $\chi^2$ possono essere dimostrate matematicamente identiche a test z equivalenti. I test producono lo stesso risultato in ogni circostanza. A tutti gli effetti "chi-quadrato" potrebbe essere chiamato "z-quadrato". I valori critici di $\chi^2$ per un grado di libertà sono il quadrato dei corrispondenti valori critici di z. "

Questo è stato affermato più volte nel CV ( qui , qui , qui e altri).

E infatti siamo in grado di dimostrare che $\chi^2_{1\,df}$ è equivalente a $X^2$ con $X\sim N(0,1)$ :

Diciamo che $X \sim N(0,1)$ e che $Y=X^2$ e trovare la densità di $Y$ usando il metodo $cdf$ :

$p(Y \leq y) = p(X^2 \leq y)= p(-\sqrt{y} \leq x \leq \sqrt{y})$ . Il problema è che non possiamo integrare in stretta forma la densità della distribuzione normale. Ma possiamo esprimerlo:

F_{X} (y) = F_{X} (\sqrt{y}) - F_{X} (- \sqrt{y}) .

$F_X(y) = F_X(\sqrt{y})- F_X(-\sqrt[]{y}).$ Prendendo il derivato:

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{2 \sqrt{y}} + F_{X}^{'} (\sqrt{- y}) \frac{1}{2 \sqrt{y}} .

$f_X(y)= F_X'(\sqrt{y})\,\frac{1}{2\sqrt{y}}+ F_X'(\sqrt{-y})\,\frac{1}{2\sqrt{y}}.$

Poiché i valori della normale sono simmetrici: $pdf$

. Paragonando questo alladel normale (ora lanellasarà $f_X(y)= F_X'(\sqrt{y})\,\frac{1}{\sqrt{y}}$ $pdf$ $x$ $pdf$ da collegare a $\sqrt{y}$ parte della normale); e ricordando di includere $e^{-\frac{x^2}{2}}$ $pdf$ alla fine: $\frac{1}{\sqrt{y}}$

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} y^{\frac{1}{2} - 1}

$f_X(y)= F_X'(\sqrt[]{y})\,\frac{1}{\sqrt[]{y}}= \frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, \frac{1}{\sqrt[]{y}}=\frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, y^{\frac{1}{2}- 1}$

Confronta con il pdf del chi quadrato:

f_{X} (x) = \frac{1}{2^{ν / 2} Γ (\frac{ν}{2})} e^{\frac{- x}{2}} x^{\frac{ν}{2} - 1}

$f_X(x)= \frac{1}{2^{\nu/2}\Gamma(\frac{\nu}{2})}e^{\frac{-x}{2}}x^{\frac{\nu}{2}-1}$

Poiché , perdf, abbiamo derivato esattamente ladel quadrato chi. $\Gamma(1/2)=\sqrt{\pi}$ $1$ $pdf$

Inoltre, se chiamiamo la funzione prop.test()in R , invochiamo lo stesso test come se decidessimo . $\chi^2$ chisq.test()

LA DOMANDA:

Quindi ottengo tutti questi punti, eppure non so ancora come si applicano all'implementazione effettiva di questi due test per due motivi:

Un test z non è quadrato.
Le statistiche dei test effettivi sono completamente diverse:

Il valore della statistica test per un $\chi^2$ è:

dove $\chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} = N \sum_{i=1}^n p_i \left(\frac{O_i/N - p_i}{p_i}\right)^2$

= statistica del test cumulativo di Pearson, che si avvicina asintoticamente a unadistribuzione . = il numero di osservazioni di tipo ; = numero totale di osservazioni; = = la frequenza (teorica) attesa di tipo , asserita dall'ipotesi nulla che la frazione di tipo nella popolazione sia ; = il numero di celle nella tabella. $\chi^2$ $\chi^2$ $O_i$ $i$ $N$ $E_i$ $N p_i$ $i$ $i$ $p_i$ $n$

D'altra parte, la statistica del test per un test è: $z$

con $\displaystyle Z = \frac{\frac{x_1}{n_1}-\frac{x_2}{n_2}}{\sqrt{p\,(1-p)(1/n_1+1/n_2)}}$ , doveesono il numero di "successi", rispetto al numero di soggetti in ciascuno dei livelli delle variabili categoriali, ovveroe. $\displaystyle p = \frac{x_1\,+\,x_2}{n_1\,+\,n_2}$ $x_1$ $x_2$ $n_1$ $n_2$

Questa formula sembra basarsi sulla distribuzione binomiale.

Queste due statistiche dei test sono chiaramente diverse e producono risultati diversi per le statistiche dei test effettivi, nonché per i valori p : 5.8481per e per il test z, dove (grazie, @ mark999 ). Il valore p per il test è , mentre per il test z è . La differenza spiegata da due code contro una coda: (grazie @amoeba). $\chi^2$ 2.4183 $\small 2.4183^2=5.84817$ $\chi^2$ 0.015590.0077 $\small 0.01559/2=0.007795$

Quindi a quale livello diciamo che sono la stessa cosa?

chi-squared proportion z-test

— Antoni Parellada
fonte

Ma questi sono due test identici. Z al quadrato è la statistica chi-quadro. Ti permette di avere una tabella di frequenza 2x2 in cui le colonne sono i due gruppi e le righe sono "successo" e "errore". Quindi le cosiddette frequenze attese del test del chi-quadro in una data colonna sono il profilo ponderato (per la N dei gruppi) di profilo medio (gruppo) moltiplicato per il N. di quel gruppo. Quindi, arriva che il chi-quadrato verifica la deviazione di ciascuno dei due profili di gruppo da questo profilo di gruppo medio, che equivale a testare la differenza dei profili dei gruppi l'uno dall'altro, il test z delle proporzioni.

— ttnphns,

Nell'esempio sull'ultimo collegamento ipertestuale

è quasi il quadrato della statistica del test z, ma non del tutto, ei valori p sono diversi. Inoltre, quando si guardano le formule per le statistiche restanti sopra, è davvero immediato che siano identiche? O anche l'uno il quadrato dell'altro?

χ^{2}

$\chi^2$

— Antoni Parellada,

In chisq.test(), hai provato a usare correct=FALSE?

— mark999,

Anzi, Antoni. Entrambi i test esistono con o senza Yates. Potrebbe essere che calcoli uno con l'altro ma senza di esso?

— ttnphns,

Grazie! Avevi (prevedibilmente) ragione. Con la correzione Yates disattivata, l'una è solo il quadrato dell'altra. Ho modificato la domanda di conseguenza, anche se un po 'velocemente. Vorrei ancora dimostrare algebricamente che entrambe le statistiche dei test sono uguali (o l'una il quadrato dell'altra) e capire perché i valori p sono diversi.

— Antoni Parellada,

Diamo una tabella di frequenza 2x2 in cui le colonne sono due gruppi di intervistati e le righe sono le due risposte "Sì" e "No". E abbiamo trasformato le frequenze nelle proporzioni all'interno del gruppo, cioè nei profili verticali :

      Gr1   Gr2  Total
Yes   p1    p2     p
No    q1    q2     q
      --------------
     100%  100%   100%
      n1    n2     N

Il solito (non corretto da Yates) di questa tabella, dopo aver sostituito le proporzioni anziché le frequenze nella sua formula, si presenta così: $\chi^2$

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = \frac{n_{1} (p_{1} - p)^{2} + n_{2} (p_{2} - p)^{2}}{p q} .

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]= \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

$p= \frac{n_1p_1+n_2p_2}{n_1+n_2}$ (p1,q1)(p2,q2)

. . . = \frac{(p_{1} - p_{2})^{2} (n_{1}^{2} n_{2} + n_{1} n_{2}^{2})}{p q N^{2}}

$...= \frac{(p_1-p_2)^2(n_1^2n_2+n_1n_2^2)}{pqN^2}$

Divide both numerator and denominator by the $(n_1^2n_2+n_1n_2^2)$ and get

\frac{(p_{1} - p_{2})^{2}}{p q (1 / n_{1} + 1 / n_{2})} = Z^{2},

$\frac{(p_1-p_2)^2}{pq(1/n_1+1/n_2)}=Z^2,$

the squared z-statistic of the z-test of proportions for "Yes" response.

Thus, the 2x2 homogeneity Chi-square statistic (and test) is equivalent to the z-test of two proportions. The so called expected frequencies computed in the chi-square test in a given column is the weighted (by the group n) average vertical profile (i.e. the profile of the "average group") multiplied by that group's n. Thus, it comes out that chi-square tests the deviation of each of the two groups profiles from this average group profile, - which is equivalent to testing the groups' profiles difference from each other, which is the z-test of proportions.

This is one demonstration of a link between a variables association measure (chi-square) and a group difference measure (z-test statistic). Attribute associations and group differences are (often) the two facets of the same thing.

(Showing the expansion in the first line above, By @Antoni's request):

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}] = \frac{n_1(p_1-p)^2q}{pq}+\frac{n_1(q_1-q)^2p}{pq}+\frac{n_2(p_2-p)^2q}{pq}+\frac{n_2(q_2-q)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(1-p_1-1+p)^2p+n_2(p_2-p)^2(1-p)+n_2(1-p_2-1+p)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(p-p_1)^2p+n_2(p_2-p)^2(1-p)+n_2(p-p_2)^2p}{pq} = \frac{[n_1(p_1-p)^2][(1-p)+p]+[n_2(p_2-p)^2][(1-p)+p]}{pq} = \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

— ttnphns
fonte

@ttnphs This is great! Any chance you could clarify the intermediate step in the first equation (

χ^{2}

$\chi^2$ ) formula - I don't see how the

q

$q$ 's go away after the equal sign.

— Antoni Parellada

@ttnphs When I expand it I get

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = n_{1} (\frac{q (p^{2} + p (- 2 p_{1} - 2 q_{1} + p_{1}^{2}) + p (q^{2} + q_{1}^{2})}{p q}) + n_{2} (\frac{q (p^{2} + p (- 2 p_{2} - 2 q_{2}) + p_{2}^{2}) + p (q^{2} + q_{2}^{2})}{p q})

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]=n_1(\frac{q(p^2+p(-2p_1-2q_1+p_1^2)+p(q^2+q_1^2)}{pq})+n_2(\frac{q(p^2+p(-2p_2-2q_2)+p_2^2)+p(q^2+q_2^2)}{pq})$

— Antoni Parellada

@ttnphs ... Or some reference so it's less work to type the latex... And I'll promptly and happily 'accept' the answer...

— Antoni Parellada

@Antoni, expansion inserted.

— ttnphns

@ttnphns Awesome!

— Antoni Parellada