Cosa da credere: test di Kolmogorov-Smirnov o trama QQ?


16

Sto cercando di determinare se il mio set di dati di dati continui segue una distribuzione gamma con parametri shape 1.7 e rate 0.000063.==

Il problema è quando uso R per creare un diagramma QQ del mio set di dati rispetto alla gamma di distribuzione teorica (1.7, 0.000063), ottengo un diagramma che mostra che i dati empirici concordano approssimativamente con la distribuzione gamma. La stessa cosa accade con il diagramma ECDF.X

Tuttavia, quando eseguo un test di Kolmogorov-Smirnov, mi dà un valore irragionevolmente piccolo di .p<1%

Quale dovrei scegliere di credere? L'output grafico o il risultato del test KS?

Grafico QQplot ed ECDF


puoi fornire anche i grafici di distribuzione della densità che ottieni?
Scratch

13
Il test e il diagramma diagnostico non sono incoerenti. La distribuzione è simile a quella teorica, come mostra il diagramma QQ. La dimensione del campione è abbastanza grande che è probabile che tu raccolga anche piccole differenze da quello teorico.
Glen_b -Restate Monica

Risposte:


18

Non vedo alcun senso nel non "credere" alla trama QQ (se l'hai prodotta correttamente); è solo una rappresentazione grafica della realtà dei tuoi dati, giustapposta alla distribuzione definitiva. Chiaramente non è una corrispondenza perfetta, ma se è abbastanza buono per i tuoi scopi, potrebbe essere più o meno la fine della storia. Potresti voler dare un'occhiata a questa domanda correlata: il test della normalità è "essenzialmente inutile"?

p

Se i tuoi dati sono troppo diversi da una distribuzione gamma per i tuoi scopi previsti è un'altra domanda. Il test KS da solo non può rispondere per te (perché il suo risultato dipenderà dalla dimensione del tuo campione, tra le altre ragioni), ma il diagramma QQ potrebbe aiutarti a decidere. Potresti anche voler cercare solide alternative a qualsiasi altra analisi che prevedi di eseguire, e se sei particolarmente serio nel considerare la sensibilità di eventuali analisi successive alle deviazioni dalla distribuzione gamma, potresti prendere in considerazione di fare anche qualche test di simulazione .


15

Quello che potresti fare è creare più campioni dalla tua distribuzione teorica e tracciarli sullo sfondo del tuo QQ-plot. Ciò ti darà un'idea del tipo di variabilità che puoi ragionevolmente aspettarti dal solo campionamento.

Puoi estendere quell'idea per creare una busta attorno alla linea teorica, usando l'esempio delle pagine 86-89 di:

Venables, WN e Ripley, BD 2002. Statistiche applicate moderne con S. New York: Springer.

Questa sarà una busta mirata. Puoi estendere ulteriormente quell'idea per creare una busta complessiva usando le idee dalle pagine 151-154 di:

Davison, AC e Hinkley, DV 1997. Metodi Bootstrap e loro applicazione. Cambridge: Cambridge University Press.

Tuttavia, per l'esplorazione di base penso che solo tracciare un paio di campioni di riferimento sullo sfondo del diagramma QQ sarà più che sufficiente.


Buona idea! Ricordami di votare questo in 11 ore (ho esaurito tutti i miei voti sui cartoni animati ) ... Mi piace in particolare il bootstrap dell'ECDF come modo per arricchire quel tipo di trama.
Nick Stauner,

1
Dai anche un'occhiata al pacchetto CRAN sfsmisc, che ha la funzione ecdf.ksCI che disegna una banda di confidenza sul grafico ecdf. La stessa idea potrebbe essere usata per disegnare una banda di fiducia sul diagramma QQ ...
kjetil b halvorsen

2

Il test KS assume parametri particolari della tua distribuzione. Verifica l'ipotesi "i dati sono distribuiti secondo questa particolare distribuzione". Potresti aver specificato questi parametri da qualche parte. In caso contrario, potrebbero essere stati utilizzati alcuni valori predefiniti non corrispondenti. Si noti che il test KS diventerà conservativo se i parametri stimati sono collegati all'ipotesi.

Tuttavia, la maggior parte dei test di bontà di adattamento viene utilizzata nel modo sbagliato. Se il test KS non avrebbe mostrato significato, questo non significa che il modello che volevi dimostrare sia appropriato. Ecco cosa ha detto @ Nick Stauner a proposito di dimensioni del campione troppo ridotte. Questo problema è simile ai test di ipotesi puntuali e ai test di equivalenza.

Quindi alla fine: considera solo i grafici QQ.


-1

Il diagramma QQ è una tecnica di analisi dei dati esplorativi e dovrebbe essere trattato come tale, così come tutti gli altri grafici EDA. Hanno solo lo scopo di fornire approfondimenti preliminari sui dati disponibili. Non dovresti mai decidere o interrompere l'analisi basata su grafici EDA come il diagramma QQ. È un consiglio sbagliato considerare solo i grafici QQ. Dovresti assolutamente seguire tecniche quantitative come KS Test. Supponendo di avere un altro diagramma QQ per set di dati simili, come si confronterebbero i due senza uno strumento quantitativo? Il prossimo passo per te, dopo il test EDA e KS, è scoprire perché il test KS sta dando un basso valore p (nel tuo caso, potrebbe anche essere dovuto a qualche errore).

Le tecniche EDA NON sono pensate per servire come strumenti decisionali. In effetti, direi che anche le statistiche inferenziali devono essere solo esplorative. Ti danno indicazioni su quale direzione dovrebbe procedere la tua analisi statistica. Ad esempio, un test t su un campione ti darebbe solo un livello di confidenza che il campione può (o non può) appartenere alla popolazione, puoi comunque procedere ulteriormente in base a tale intuizione sulla distribuzione dei tuoi dati e su cosa sono i suoi parametri ecc. In effetti, quando alcuni affermano che anche le tecniche implementate come parte delle librerie di apprendimento automatico sono anche di natura esplorativa !!! Spero che lo intendano in questo senso ...!

Concludere decisioni statistiche sulla base di grafici o tecniche di visualizzazione è prendere in giro i progressi compiuti nella scienza statistica. Se me lo chiedi, dovresti usare questi grafici come strumenti per comunicare le conclusioni finali basate sulla tua analisi statistica quantitativa.


Questo mi proibisce di fare qualcosa che faccio spesso e di considerare ragionevole, prendere una decisione in base a un piano esplorativo e fermarmi prima di un test di significato più formale. Nessuna derisione è implicata. Questo è un commento ripetitivo e dogmatico che non aggiunge nulla di utile alle risposte eccellenti esistenti e molto più sfumate. È molto facile confrontare i grafici QQ ...
Nick Cox,

Non ho letto altre risposte, ma se incoraggiano anche metodi quantitativi, sto bene. Per la domanda, avevo dato la mia risposta. Ma, sono curioso, non ci vuole molto tempo per fare test quantici formali (solo pochi minuti per fare test KS) con pacchetti ora disponibili come R, quindi perché qualcuno dovrebbe fermarsi ai grafici EDA? Subito dopo aver convalidato i risultati del test KS di R con il bootstrap, ho notato in diversi punti in cui è stato indicato che non è preferibile utilizzare ecc., È dovuto a un sospetto generale sui metodi stat tradizionali? Questa è la logica alla base dei miei forti commenti ... non offendere nessuno
Murugesan Narayanaswamy

Dovresti davvero leggere altre risposte prima di pubblicare. L'implicazione della pubblicazione è che hai qualcosa di diverso (oltre che difendibile) da dire. Il tuo commento è sconcertante nel suggerire che i grafici QQ non sono "metodi quantitativi". Un diagramma QQ mostra in linea di principio tutte le informazioni quantitative rilevanti nella valutazione dell'adattamento alla distribuzione. Al contrario, un test come Kolmogorov-Smirnov offre una riduzione unidimensionale e fornisce un piccolo aiuto su cosa fare dopo.
Nick Cox,

Il diagramma QQ confronta la distribuzione teorica con dati di test dati e fornisce una rappresentazione visiva, ma il test KS fa la stessa cosa in modo molto più rigoroso usando concetti statistici e dà infine un valore di probabilità. Non è possibile confrontare due grafici QQ ma si otterrà una differenza quantitativa quando si utilizza il test KS. È errato che il valore p del test KS sia errato. È anche sbagliato che il set di dati empirici non possa essere utilizzato per estrarre i parametri di distribuzione. Ho eseguito personalmente il bootstrap e verificato con i valori p con entrambe le tabelle e la distribuzione kolomogrov calcolata manualmente.
Murugesan Narayanaswamy,

C'è molto shadow boxing nel tuo commento, chi sta discutendo dove non è possibile utilizzare i dati empirici per ottenere stime dei parametri? Questo è ciò che tutti dovremmo concordare che si sta facendo qui. Dovrai perdonarmi per non voler proseguire una discussione. Attendo la mia reazione alla tua risposta.
Nick Cox,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.