Test di Kolmogorov – Smirnov: il valore p e la statistica del test k diminuiscono all'aumentare della dimensione del campione

11

Perché i valori di p e le statistiche di ks-test diminuiscono con l'aumentare della dimensione del campione? Prendi questo codice Python come esempio:

import numpy as np
from scipy.stats import norm, ks_2samp
np.random.seed(0)
for n in [10, 100, 1000, 10000, 100000, 1000000]:
  x = norm(0, 4).rvs(n)
  y = norm(0, 4.1).rvs(n)
  print ks_2samp(x, y)

I risultati sono:

Ks_2sampResult(statistic=0.30000000000000004, pvalue=0.67507815371659508)
Ks_2sampResult(statistic=0.080000000000000071, pvalue=0.89375155241057247)
Ks_2sampResult(statistic=0.03499999999999992, pvalue=0.5654378910227662)
Ks_2sampResult(statistic=0.026599999999999957, pvalue=0.0016502962880920896)
Ks_2sampResult(statistic=0.0081200000000000161, pvalue=0.0027192461984023855)
Ks_2sampResult(statistic=0.0065240000000000853, pvalue=6.4573678008760032e-19)

Intuitivamente capisco che man mano che n cresce, il test è "più sicuro" che le due distribuzioni sono diverse. Ma se la dimensione del campione è molto grande, qual è il punto in test di somiglianza come questo e dire il test Anderson Darling, o il test t, perché in questi casi quando n è molto grande, le distribuzioni saranno sempre trovate "significativamente" diverso !? Ora mi chiedo quale diavolo siano i valori di p. Dipende molto dalla dimensione del campione ... se p> 0,05 e vuoi che sia più basso, ottieni solo più dati; e se p <0,05 e vuoi che sia più alto, rimuovi solo alcuni dati.

Inoltre, se le due distribuzioni fossero identiche, la statistica ks-test sarebbe 0 e il valore p 1. Ma nel mio esempio, quando n aumenta la statistica ks test suggerisce che le distribuzioni diventano sempre più simili con il tempo (diminuisce) , ma in base al valore p diventano sempre più diversi nel tempo (diminuisce anche).

— Oliver Angelil
fonte

Vedi I test sulla normalità sono "sostanzialmente inutili"? . Si noti che ciò che dici non è del tutto vero: se le distribuzioni sono in effetti identiche, la distribuzione del valore p rimane uniforme anche quando si aumenta la dimensione del campione.

— Scortchi - Ripristina Monica

2

Ho avuto un problema che potrebbe riguardare questo: stats.stackexchange.com/questions/301628/… Questo mi ha reso molto scettico su questo test.

— Aleksandar Jovanovic,

È vero, con abbastanza dati, puoi dimostrare che le dimensioni degli effetti arbitrariamente piccole, ma diverse da zero, sono statisticamente significative. La chiave qui è riconoscere la distinzione tra significato statistico e significato pratico. Per citare erroneamente Homer Simpson, "è possibile utilizzare i valori p per provare qualsiasi cosa che sia persino lontanamente vera".

— Nuclear Wang,

4

La statistica del test diminuisce perché le distribuzioni sono molto simili e campioni più grandi hanno meno rumore. Se dovessi confrontare le due distribuzioni teoriche che hai usato, dovresti ottenere la "vera" statistica KS. Man mano che aggiungi più dati, la tua statistica KS stimata dovrebbe avvicinarsi a questo vero valore. Tuttavia, anche se la tua statistica KS diminuisce, la tua sicurezza aumenta che si tratta in realtà di due diverse distribuzioni (cioè diminuisce il valore p) perché hai una maggiore fiducia nelle tue stime delle singole distribuzioni.

— adam.r
fonte

3

In pratica: ottenere più dati non è così semplice (lo vorrei). Rimuovere i dati solo per ottenere il valore desiderato è una frode accademica e se vieni scoperto sei nei guai. $p$

Tuttavia, hai ragione nel dire che il valore da solo ha un valore limitato. Nella migliore delle ipotesi è solo l'inizio della tua analisi e certamente non la fine. Per ulteriori informazioni, consultare la dichiarazione dell'ASA su -values . $p$ $p$

— Maarten Buis
fonte

Grazie per il riferimento, ma non sono ancora sicuro del perché la statistica del test ks diminuisca di più.

— Oliver Angelil,