Perché il test chi-quadrato utilizza il conteggio atteso come varianza?

Nei test , qual è la base per usare la radice quadrata dei conteggi previsti come deviazioni standard (cioè i conteggi previsti come varianze) di ciascuna delle distribuzioni normali? L'unica cosa che ho potuto trovare discutendo di questo è http://www.physics.csbsju.edu/stats/chi-square.html , e menziona solo le distribuzioni di Poisson. $\chi^2$

Come semplice illustrazione della mia confusione, cosa accadrebbe se stessimo testando se due processi sono significativamente diversi, uno che genera 500 As e 500 Bs con una varianza molto piccola, e l'altro che genera 550 As e 450 Bs con una varianza molto piccola (generando raramente 551 As e 449 Bs)? La varianza qui non è chiaramente semplicemente il valore atteso?

(Non sono uno statistico, quindi cerco davvero una risposta accessibile ai non specialisti.)

hypothesis-testing chi-squared

— Yang
fonte

Ciò ha probabilmente a che fare con il fatto che la varianza di una variabile casuale

χ_{k}^{2}

$\chi^{2}_{k}$ è

2 k

$2k$ e anche con il fatto che la statistica deve essere moltiplicata per 2 per avere la distribuzione corretta (come nel test del rapporto di verosimiglianza). Forse qualcuno lo sa in modo più formale.

— Macro

Risposte:

Il modulo generale per molte statistiche di test è

$\frac{observed - expected}{standard error}$

Nel caso di una variabile normale, l'errore standard si basa sulla varianza della popolazione nota (z-stats) o sulla stima dal campione (t-stats). Con il binomio l'errore standard si basa sulla proporzione (proporzione ipotizzata per i test).

In una tabella di contingenza si può pensare che il conteggio in ciascuna cella provenga da una distribuzione di Poisson con una media uguale al valore atteso (sotto il valore null). La varianza per la distribuzione di Poisson è uguale alla media, quindi utilizziamo anche il valore atteso per il calcolo dell'errore standard. Ho visto una statistica che utilizza invece l'osservato, ma ha una giustificazione meno teorica e non converge altrettanto alla distribuzione . $\chi^2$

— Greg Snow
fonte

Mi sto bloccando sulla connessione con il Poisson / capire perché ogni cellula può essere considerata come proveniente da un Poisson. Conosco la media / varianza di Poissons e so che rappresentano il numero di eventi a cui viene assegnato un tasso. So anche che le distribuzioni chi-quadrate rappresentano la somma dei quadrati delle normali standard (varianza 1). Sto solo cercando di avvolgere la mia testa attorno alla giustificazione del riutilizzo del valore atteso come presupposto della "diffusione" di ciascuna delle normali. È solo per rendere tutto conforme alla distribuzione chi-quadro / per "standardizzare" le normali?

— Yang,

Ci sono un paio di problemi, la distribuzione di Poisson è comune per i conteggi quando le cose sono abbastanza indipendenti. Invece di pensare alla tabella come se avesse un totale fisso e stai distribuendo i valori tra le celle della tabella, pensa a una sola cella della tabella e stai aspettando un periodo di tempo fisso per vedere quante risposte cadono in quella cella , questo si adatta all'idea generale del Poisson. Per mezzi di grandi dimensioni è possibile approssimare un Poisson con una distribuzione normale, quindi la statistica del test ha senso come un'approssimazione normale al Poisson, quindi convertire in

χ^{2}

$\chi^2$

— Greg Snow,

(+1) Supponiamo che i conteggi delle cellule

fossero variabili casuali indipendenti di Poisson con media

. Quindi, certamente,

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$

n π_{i}

$n\pi_i$

nella distribuzione. Ma il problema è che

è unparametroe non i conteggi effettivamente osservati. I conteggi totali osservati sono

. Sebbene

quasi sicuramente da parte del SLLN, è necessario fare ancora un po 'di lavoro per trasformare l'euristica in qualcosa di fattibile.

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$

n

$n$

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$

N / n \to 1

$N/n \to 1$

— cardinale il

— Yang,

@Yang: Sembra che i tuoi dati --- che non hai descritto --- non siano conformi al modello alla base dell'uso della statistica chi-quadro. Il modello standard è quello del campionamento multinomiale . A rigor di termini, nemmeno il campionamento di Poisson (incondizionato) è coperto, ed è ciò che suppone la risposta di Greg. Faccio un riferimento (forse ottuso) a questo nel mio commento precedente.

— cardinale il

Gestiamo il caso più semplice per provare a fornire la maggior intuizione. Sia un campione iid da una distribuzione discreta con esiti . Sia le probabilità di ogni risultato particolare. Siamo interessati alla distribuzione (asintotica) della statistica chi-quadrata $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Qui è il numero atteso di conteggi del ° risultato.

X^{2} = \sum_{i = 1}^{k} \frac{(S_{i} - n π_{i})^{2}}{n π_{i}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Un euristico suggestivo

Definisci , in modo che dove. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Poiché è , quindi per il Teorema del limite centrale , $S_i$ $\mathrm{Bin}(n,\pi_i)$ quindi, abbiamo anche quello, .

T_{i} = \frac{U_{i}}{\sqrt{1 - π_{i}}} = \frac{S_{i} - n π_{i}}{\sqrt{n π_{i} (1 - π_{i})}} \overset{d}{\to} N (0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Ora, se la erano (asintoticamente) indipendente (che non lo sono), allora potremmo sostenere che era asintoticamente distribuito. Tuttavia, si noti che è una funzione deterministica di e quindi le variabili non possono essere indipendenti. $T_i$ $\sum_i T_i^2$ $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Quindi, dobbiamo in qualche modo tenere conto della covarianza tra loro. Risulta che il modo "corretto" per farlo è di utilizzare la invece, e la covarianza tra i componenti di cambia anche la distribuzione asintotica da quello che si potrebbe pensare era a ciò che è, in effetti, a . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Di seguito alcuni dettagli.

Un trattamento più rigoroso

Non è difficile verificare che, in effetti, per. $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ $i \neq j$

Quindi, la covarianza di è $\U$ dove

A = I - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$

A

$\A$

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$

Now, by the Multivariate Central Limit Theorem, the vector $\U$ has an asymptotic multivariate normal distribution with mean $0$ and covariance $\A$ .

So, $\U$ has the same asymptotic distribution as $\A \Z$ , hence, the same asymptotic distribution of $X^2 = \U^T \U$ is the same as the distribution of $\Z^T \A^T \A \Z = \Z^T \A \Z$ by the continuous mapping theorem.

But, $\A$ is symmetric and idempotent, so (a) it has orthogonal eigenvectors, (b) all of its eigenvalues are 0 or 1, and (c) the multiplicity of the eigenvalue of 1 is $\mathrm{rank}(\A)$ . This means that $\A$ can be decomposed as $\A = \mathbf{Q D Q}^T$ where $\mathbf{Q}$ is orthogonal and $\mathbf{D}$ is a diagonal matrix with $\mathrm{rank}(\A)$ ones on the diagonal and the remaining diagonal entries being zero.

Thus, $\Z^T \A \Z$ must be $\chi^2_{k-1}$ distributed since $\A$ has rank $k-1$ in our case.

Other connections

The chi-square statistic is also closely related to likelihood ratio statistics. Indeed, it is a Rao score statistic and can be viewed as a Taylor-series approximation of the likelihood ratio statistic.

References

This is my own development based on experience, but obviously influenced by classical texts. Good places to look to learn more are

G. A. F. Seber and A. J. Lee (2003), Linear Regression Analysis, 2nd ed., Wiley.
E. Lehmann and J. Romano (2005), Testing Statistical Hypotheses, 3rd ed., Springer. Section 14.3 in particular.
D. R. Cox and D. V. Hinkley (1979), Theoretical Statistics, Chapman and Hall.

— cardinal
fonte

(+1) I think it is hard to find this proof in standard categorical data analysis texts like Agresti, A. (2002). Categorical Data Analysis. John-Wiley.

— suncoolsu

Thanks for the comment. I know there is some treatment of the chi-squared statistic in Agresti, but don't recall how far he takes it. He may just appeal to the asymptotic equivalence with the likelihood ratio statistic.

— cardinal

I don't know if you'll find the proof above in any text. I haven't seen the use of the full (degenerate) covariance matrix and its properties elsewhere. The usual treatment looks at the (nondegenerate) distribution of the first

k - 1

$k-1$ coordinates and then uses the inverse covariance matrix (which has a nice form, but one which is not immediately obvious) and some (somewhat) tedious algebra to establish the result.

— cardinal

Your answer begins by defining a set of

X

$X$ 's but then defines the statistic in terms of

S

$S$ 's. Can you include something in the answer that indicates how the variables you define at the start and the variables in the statistic are related?

— Glen_b -Reinstate Monica