Valutare il significato delle differenze nelle distribuzioni

Ho due gruppi di dati. Ciascuno con una diversa distribuzione di più variabili. Sto cercando di determinare se le distribuzioni di questi due gruppi sono diverse in modo statisticamente significativo. Ho i dati sia in forma grezza che raggruppati in modo più facile da gestire con categorie discrete con conteggi di frequenza in ciascuno.

Quali test / procedure / metodi dovrei usare per determinare se questi due gruppi sono significativamente diversi e come posso farlo in SAS o R (o Orange)?

Credo che ciò richieda un test di Kolmogorov – Smirnov a due campioni , o simili. Il test di Kolmogorov – Smirnov a due campioni si basa sul confronto delle differenze nelle funzioni di distribuzione empirica (ECDF) di due campioni, il che significa che è sensibile sia alla posizione che alla forma dei due campioni. Si generalizza anche in una forma multivariata.

Questo test si trova in varie forme in diversi pacchetti in R, quindi se sei sostanzialmente abile, tutto ciò che devi fare è installarne uno (es. FBasics ) ed eseguirlo sui tuoi dati di esempio.

Farò la domanda stupida del consulente. Perché vuoi sapere se queste distribuzioni sono diverse in modo statisticamente significativo?

I dati che stai utilizzando sono campioni rappresentativi di popolazioni o processi e vuoi valutare l'evidenza che tali popolazioni o processi differiscono? Se è così, allora un test statistico è giusto per te. Ma questa mi sembra una domanda strana.

Oppure, ti interessa sapere se hai davvero bisogno di comportarti come se quelle popolazioni o processi fossero diversi, indipendentemente dalla verità? Quindi sarà meglio determinare una funzione di perdita, idealmente una che restituisce unità significative per te, e prevedere la perdita attesa quando (a) le popolazioni sono diverse e (b) le trattano come uguali. Oppure puoi scegliere alcuni quantili della distribuzione delle perdite se vuoi adottare una posizione più o meno conservatrice.

Potresti essere interessato ad applicare i relativi metodi di distribuzione. Chiama un gruppo il gruppo di riferimento e l'altro il gruppo di confronto. In modo simile alla costruzione di un grafico probabilità-probabilità, è possibile costruire un CDF / PDF relativo, che è un rapporto delle densità. Questa densità relativa può essere utilizzata per l'inferenza. Se le distribuzioni sono identiche, ci si aspetta una distribuzione relativa uniforme. Esistono strumenti, grafici e statistici, per esplorare ed esaminare le deviazioni dall'uniformità.

Un buon punto di partenza per avere un senso migliore è l' applicazione dei metodi relativi di distrazione in R e il pacchetto reldist in R. Per i dettagli, è necessario fare riferimento al libro Metodi di distribuzione relativa nelle scienze sociali di Handcock e Morris. C'è anche un articolo degli autori che tratta le tecniche pertinenti.

Una misura della differenza tra due distribuzioni è il criterio della "discrepanza media massima", che fondamentalmente misura la differenza tra le medie empiriche dei campioni dalle due distribuzioni in un kernel riproduttivo Hilbert Space (RKHS). Vedi questo documento "Un metodo del kernel per il problema dei due esempi" .

Non so come usare SAS / R / Orange, ma sembra che il tipo di test di cui hai bisogno sia un test chi-quadro .