Perché il test di Kolmogorov-Smirnov funziona?

Nel leggere il test KS a 2 campioni, capisco esattamente cosa sta facendo, ma non capisco perché funzioni .

In altre parole, posso seguire tutti i passaggi per calcolare le funzioni di distribuzione empirica, trovare la massima differenza tra i due per trovare la statistica D, calcolare i valori critici, convertire la statistica D in un valore p ecc.

Ma non ho idea del perché nulla di tutto ciò mi dica qualcosa sulle due distribuzioni.

Qualcuno avrebbe potuto dirmi altrettanto facilmente che ho bisogno di saltare su un asino e contare la velocità con cui scappa e se la velocità è inferiore a 2 km / h, allora rifiuto l'ipotesi nulla. Certo che posso fare quello che mi hai detto di fare, ma cosa c'entra tutto ciò con l'ipotesi nulla?

Perché il test KS a 2 campioni funziona? Cosa c'entra il calcolo della differenza massima tra gli ECDF e quanto sono diverse le due distribuzioni?

Qualsiasi aiuto è apprezzato. Non sono uno statistico, quindi supponiamo che io sia un idiota, se possibile.

— Darcy
fonte

Benvenuto in CV, Darcy! Ottima domanda!

— Alexis,

Salta sopra un asino ... :)

— Richard Hardy,

Risposte:

Fondamentalmente, il test è coerente come risultato diretto del teorema di Glivenko Cantelli, uno dei risultati più importanti dei processi empirici e forse delle statistiche.

GC ci dice che la statistica del test di Kolmogorov Smirnov va a 0 come $n \rightarrow \infty$ sotto l'ipotesi nulla. Può sembrare intuitivo fino a quando non ti affronti con un'analisi reale e limiti i teoremi. Questa è una rivelazione perché il processo può essere pensato come un numero infinito infinito di processi casuali, quindi le leggi o la probabilità porterebbero a credere che c'è sempre un punto che potrebbe superare qualsiasi confine epsilon ma no, il supremum converge in la lunga corsa.

Per quanto? Mmyyeeaa non lo so. La potenza del test è piuttosto dubbia. Non lo userei mai in realtà.

http://www.math.utah.edu/~davar/ps-pdf-files/Kolmogorov-Smirnov.pdf

— ADAMO
fonte

+1 Ciao AdamO! Hai una frase da una a due sul potere che è "una specie di dubbio?" Mi piacerebbe quella prospettiva (ho capito che il test è considerato facilmente "sopraffatto").

— Alexis,

@Alexis Il test non è sopraffatto, IRL non ci aspettiamo quasi mai che il valore nullo sia vero, piuttosto non ci importa se il 99,999 ° percentile differisce di 0,1 tra

, Quindi ogni volta che vedo

dal test KS, tutto quello che penso è: "questo è un falso negativo" e ogni volta che vedo

penso "urlo-dee-do quindi cosa si può dire di che ?". I test della forte ipotesi nulla

non sono un modo convincente di presentare prove scientifiche.

F_{1}

$F_1$

F_{2}

$F_2$

p > 0.05

$p > 0.05$

p < 0.05

$p < 0.05$

F_{1} = F_{2}

$F_1 = F_2$

— AdamO,

Ok. Mi preoccupo per i test di ipotesi per la differenza. Ma la tua preoccupazione per il potere deriva dalla semplice convinzione ontologica che

quasi sicuramente

? o c'è qualcos'altro di più riguardo agli asintotici o qualcos'altro?

F_{1}

$F_{1}$

\neq F_{2}

$\ne F_{2}$

— Alexis,

@Alexis no, non ho problemi con la matematica del test. In effetti, penso che sia abbastanza elegante e il risultato del teorema limite è molto impressionante.

— AdamO

@Alexis, dirò, nelle impostazioni in cui è possibile che

sia esattamente uguale a

, il test può essere abbastanza utile. Sono d'accordo che non molte applicazioni scientifiche sostanziali si adattano a quella fattura, ma in un contesto di calcolo statistico in cui vuoi convalidare che alcuni software che hai scritto sta generando numeri pseudo casuali da una distribuzione nota, è abbastanza utile. Codifica efficacemente l'intuizione che otterresti osservando i grafici di probabilità.

F_{1}

$F_1$

F_{2}

$F_2$

— jcz,

Abbiamo due campioni univariati indipendenti:

\begin{aligned} X_{1}, X_{2}, . . ., X_{N} & \overset{i i d}{\sim} F \\ Y_{1}, Y_{2}, . . ., Y_{M} & \overset{i i d}{\sim} G, \end{aligned}

$\begin{align} X_1,\,X_2,\,...,\,X_N&\overset{iid}{\sim}F\\ Y_1,\,Y_2,\,...,\,Y_M&\overset{iid}{\sim}G, \end{align}$ dove

G

$G$ e

F

$F$ sono funzioni di distribuzione cumulativa continua. Il test di Kolmogorov-Smirnov sta testando

\begin{aligned} H_{0} & : F (x) = G (x) for all x \in R \\ H_{1} & : F (x) \neq G (x) for some x \in R . \end{aligned}

$\begin{align} H_0&:F(x) = G(x)\quad\text{for all } x\in\mathbb{R}\\ H_1&:F(x) \neq G(x)\quad\text{for some } x\in\mathbb{R}. \end{align}$ Se l'ipotesi nulla è vera, allora

{X_{i}}_{i = 1}^{N}

$\{X_i\}_{i=1}^N$ e

{Y_{j}}_{j = 1}^{M}

$\{Y_j\}_{j=1}^M$ sono campioni della stessa distribuzione. Tutto ciò che serve per

X_{i}

$X_i$ e

Y_{j}

$Y_j$ per attingere da diverse distribuzioni è che

F

$F$ e

G

$G$ differiscano di qualsiasi importo di almeno unvalore

x

$x$ . Quindi il test KS sta valutando

F

$F$ e

G

$G$ con le CDF empirici di ogni campione, focalizzando il più grande differenza puntuale tra i due, e chiedendo se questa è "abbastanza grande" per concludere che

F (x) \neq G (x)

$F(x)\neq G(x)$ in qualche

x \in R

$x\in\mathbb{R}$ .

— JCZ
fonte

Un'intuizione intuitiva:

Il test di Kolmogorov-Smirnov si basa sostanzialmente sull'ordinamento delle osservazioni per distribuzione. La logica è che se le due distribuzioni sottostanti sono uguali, allora - a seconda delle dimensioni del campione - l'ordinamento dovrebbe essere mischiato abbastanza bene tra i due.

$Y$ $X$ $D$

$D$ $X$ $Y$

— Alexis
fonte