Perché le statistiche parametriche sarebbero mai state preferite rispetto alle non parametriche?


60

Qualcuno può spiegarmi perché qualcuno dovrebbe scegliere un parametro parametrico piuttosto che un metodo statistico non parametrico per test di ipotesi o analisi di regressione?

Nella mia mente, è come andare per il rafting e la scelta di un orologio resistente non l'acqua, perché si potrebbe non bagnarlo. Perché non usare lo strumento che funziona in ogni occasione?


21
Serve a introdurre una distorsione induttiva nel processo di inferenza statistica. Questo è un modo elegante di dire: se conosci qualcosa, forniscilo come suggerimento. Questo suggerimento può assumere forme come fornire la forma funzionale della probabilità o la distribuzione preventiva sui parametri. Se il tuo suggerimento è buono, il risultato è migliore che senza un suggerimento, e se è cattivo il risultato è peggiore.
Cagdas Ozgenc,

6
Non necessariamente. Fondamentalmente stai cercando qualcosa su un dessert molto grande. Se qualcuno ti dice che ciò che stai cercando è limitato in un determinato territorio, allora le tue possibilità di trovarlo migliorano. Ma se ti fuorviano con informazioni errate, non importa quanto cerchi in quel territorio, non le troverai.
Cagdas Ozgenc,

17
Come falegname, amo l'analogia alla fine. Le case e i mobili che sono ben costruiti e ultimi sono costruiti con strumenti specializzati. Gli strumenti per uso generale sono ottimi per i proprietari di case e per i professionisti che hanno bisogno di svolgere un lavoro rapidamente o quando si utilizza uno strumento grezzo o inappropriato non farà la differenza di qualità che interessa a tutti. Gli artigiani, tuttavia, ottengono i migliori risultati impiegando lo strumento giusto per il lavoro, e in effetti alcune cose semplicemente non possono essere fatte senza di essa. Nessuno ha mai fatto una buona coda di rondine con una sega a mano per uso generale, per esempio.
whuber

3
Se scavi un fossato con una vanga o un cucchiaino, finisci con un fossato. È solo che se hai usato il cucchiaino, sei anche più vecchio.
conjugateprior il

Risposte:


25

Raramente se mai un test parametrico e un test non parametrico hanno effettivamente lo stesso null. Il test parametrico sta testando la media della distribuzione, supponendo che esistano i primi due momenti. Il test di somma dei ranghi di Wilcoxon non prevede alcun momento e verifica invece l'uguaglianza delle distribuzioni. Il suo parametro implicito è una strana funzione delle distribuzioni, la probabilità che l'osservazione da un campione sia inferiore all'osservazione dall'altro. Puoi paragonare i confronti tra i due test sotto lo zero completamente specificato di distribuzioni identiche ... ma devi riconoscere che i due test stanno testando ipotesi diverse.t

Le informazioni fornite dai test parametrici insieme alla loro ipotesi aiutano a migliorare la potenza dei test. Naturalmente, è meglio che le informazioni siano corrette, ma al giorno d'oggi pochi sono i domini della conoscenza umana in cui tali informazioni preliminari non esistono. Un'eccezione interessante che dice esplicitamente "Non voglio assumere nulla" è l'aula di tribunale in cui i metodi non parametrici continuano ad essere ampiamente popolari - e ha perfettamente senso per l'applicazione. C'è probabilmente una buona ragione, gioco di parole, che Phillip Good autore buoni libri su entrambi statistiche non parametriche e le statistiche tribunale .

Esistono anche situazioni di test in cui non si ha accesso ai microdati necessari per il test non parametrico. Supponiamo che ti sia stato chiesto di confrontare due gruppi di persone per valutare se uno è più obeso dell'altro. In un mondo ideale, avrai misurazioni di altezza e peso per tutti e potresti formare un test di permutazione stratificando per altezza. In un mondo tutt'altro che ideale (cioè reale), potresti avere solo l'altezza media e il peso medio in ciascun gruppo (o potrebbero esserci alcuni intervalli o variazioni di queste caratteristiche in cima al mezzo campione). La tua scommessa migliore è quindi calcolare l'IMC medio per ciascun gruppo e confrontarli se hai solo i mezzi; o supponi un bivariato normale per altezza e peso se hai mezzi e varianze (probabilmente dovresti prendere una correlazione da alcuni dati esterni se non venisse fornito con i tuoi campioni),


3
Capisco che nel caso del test non hai lo stesso null, anche se non sono sicuro che abbia senso dire che un null è migliore di un altro null. Ma per quanto riguarda il caso della predizione? Storia completamente diversa, ancora dilemma parametrico vs. non parametrico.
en1

22

Come altri hanno scritto: se vengono soddisfatte le condizioni preliminari, il test parametrico sarà più potente di quello non parametrico.

Nell'analogia dell'orologio, quella non resistente all'acqua sarebbe molto più accurata se non si bagnasse. Ad esempio, il tuo orologio resistente all'acqua potrebbe essere spento di un'ora in entrambi i modi, mentre quello non resistente all'acqua sarebbe accurato ... e dovrai prendere un autobus dopo il tuo viaggio in rafting. In tal caso potrebbe avere senso portare con sé l'orologio non resistente all'acqua e assicurarsi che non si bagni.


Punto bonus: i metodi non parametrici non sono sempre facili. Sì, un'alternativa al test di permutazione al test è semplice. Ma un'alternativa non parametrica a un modello lineare misto con interazioni bidirezionali multiple ed effetti casuali nidificati è un po 'più difficile da impostare rispetto a una semplice chiamata a nlme(). L'ho fatto, usando i test di permutazione e, nella mia esperienza, i valori p dei test parametrici e di permutazione sono sempre stati abbastanza vicini tra loro, anche se i residui del modello parametrico erano abbastanza non normali. I test parametrici sono spesso sorprendentemente resistenti contro le deviazioni dalle loro condizioni preliminari.


Sembra l'opinione prevalente che i metodi parametrici siano più potenti quando vengono soddisfatte le loro ipotesi. Ma se è così, allora come mai abbiamo valori p per valutare i risultati di entrambi gli approcci? Voglio dire se un test parametrico rifiuta un'ipotesi nulla con una probabilità di almeno il 99%, come è meglio un test non parametrico che rifiuta un'ipotesi nulla con una probabilità del 99%? La probabilità di 0,99 è diversa in ciascun caso? Non avrebbe senso.
en1,

1
Le ipotesi null sono diverse tra un test parametrico e la sua controparte non parametrica. In particolare, l'ipotesi nulla per un test parametrico contiene un'ipotesi parametrica specifica sulla distribuzione della statistica del test (che di solito verrà calcolata in modi diversi per i due test) - ecco perché si chiama "parametrico", dopo tutto! Quindi i due valori p hanno lo stesso nome, ma sono calcolati in base a statistiche di test diverse, che hanno distribuzioni diverse in differenti ipotesi nulle.
S. Kolassa - Ripristina Monica il


3
@StephanKolassa, In realtà ho iniziato a scrivere un commento alla tua risposta e mi sono lasciato trasportare :)
StasK

12

Mentre sono d'accordo sul fatto che in molti casi le tecniche non parametriche sono favorevoli, ci sono anche situazioni in cui i metodi parametrici sono più utili.

Concentriamoci sulla discussione "T-test a due campioni contro il test di somma dei ranghi di Wilcoxon" (altrimenti dovremo scrivere un libro intero).

  1. Con gruppi di piccole dimensioni di 2-3, solo il test t può teoricamente raggiungere valori di p inferiori al 5%. In biologia e chimica, le dimensioni di gruppi come questo non sono rare. Naturalmente è delicato usare un test t in tale contesto. Ma forse è meglio di niente. (Questo punto è collegato al problema che, in circostanze perfette, il test t ha più potenza del test Wilcoxon).
  2. Con gruppi di grandi dimensioni, anche un test t può essere considerato non parametrico grazie al Teorema del limite centrale.
  3. I risultati del test t sono in linea con l'intervallo di confidenza dello studente per la differenza media.
  4. Se le varianze variano notevolmente tra i gruppi, la versione di T-test di Welch cerca di tenerne conto, mentre il test di somma dei ranghi di Wilcoxon può fallire gravemente se si devono confrontare i mezzi (ad es. Probabilità di errore del primo tipo molto diverse dal livello nominale ).

2
Non sarei d'accordo con 1. Semplicemente usare una procedura perché ti permette di prendere una decisione non è davvero una buona ragione, specialmente quando non hai motivo di aspettarti che quella procedura sia valida. Se hai pochi o nessun dato, fai un giudizio e non pretendere che si basi sul rigore.
dsaxton,

5
Sono d'accordo con te. È chiaramente uno dei motivi per cui i risultati spesso non sono riproducibili, anche se pubblicati su riviste di alto livello. Ma quali opzioni hai come ricercatore se il budget consente solo campioni di dimensioni minuscole?
Michael M,

1
Con riferimento al 4 e ai problemi relativi all'applicazione di Wilcoxon-Mann-Whitney quando vi sono differenze disparate tra i gruppi, esistono metodi non parametrici che consentono l'eteroscedasticità: ad esempio, mi sembra di ricordare il test di Cliff o il test di Brunner-Munzel. (Non credo che abbiamo molte informazioni su di loro su questo sito.)
Silverfish

@Silverfish: utilizzo frequentemente i metodi di Brunner e penso che tu abbia ragione. Ma dubito che stiano davvero confrontando mezzi esperti quando fanno forti assunzioni distributive.
Michael M

1
@MichaelM Sì, certo - questo ritorna alla questione dei metodi parametrici e non parametrici con ipotesi diverse, immagino.
Silverfish,

9

Nel test di ipotesi i test non parametrici spesso testano ipotesi diverse, motivo per cui non si può sempre sostituire un test non parametrico con uno parametrico.

yxfff(x)=j=1pβjxj


Sì, e questo aggiunge un pregiudizio al modello. Che cosa dice questo sul rapporto dei ricercatori sui valori p?
Cagdas Ozgenc,

@dsaxton quello che dici è vero nel testare diverse ipotesi ma le persone le interpretano ancora allo stesso modo. Poi c'è anche la regressione, in cui le intuizioni che si ottengono tra analisi non parametriche e parametriche sono praticamente le stesse.
en1,

@ cagdas-ozgenc Indica che i valori p sono condizionati dal modello. Ma non è chiaro come le cose potrebbero andare diversamente ...
conjugateprior il

3
+1 per notare che non abbiamo assolutamente alcuna possibilità di stimare qualcosa di valore in una regressione senza alcune ipotesi circa la funzione di regressione.
conjugateprior,

9

I modelli semiparametrici hanno molti vantaggi. Offrono test come il test di Wilcoxon come caso speciale, ma consentono la stima di rapporti di effetto, quantili, medie e probabilità di superamento. Si estendono ai dati longitudinali e censurati. Sono robusti nello spazio Y e sono invarianti di trasformazione ad eccezione dei mezzi di stima. Vedi http://biostat.mc.vanderbilt.edu/rms link ai volantini del corso per un esempio dettagliato / case study.

tYYXX1X2. Gli esempi includono il modello di probabilità proporzionale (caso speciale: Wilcoxon e Kruskal-Wallis) e il modello di rischi proporzionali (caso speciale: test log-rank e test log-rank stratificato).

Y


1
Ho avuto un po 'di fatica con questo. Ritiene che il test t sia semi-parametrico o non parametrico? Da un lato, ho sempre assunto che il "jist" dei semi-parametrici sia il seguente: prendere un modello di probabilità "funzionante" per i dati, stimare i parametri in quella distribuzione indipendentemente dal fatto che la distribuzione sia corretta e migliorare la stima dell'errore a conto dell'incertezza. (Quindi gli errori basati su sandwich per soluzioni alle equazioni del punteggio gaussiano sarebbero un test T semi-parametrico). Tuttavia, i semi-parametrici comportano quasi sempre il partizionamento / condizionamento di qualcosa, come con i modelli Cox.
AdamO,

Aggiungerò più descrizione alla mia risposta per affrontarla.
Frank Harrell,

6

Tra le numerose risposte fornite, vorrei anche richiamare l'attenzione sulle statistiche bayesiane. Alcuni problemi non possono essere risolti solo dalle probabilità. Un Frequentista usa un ragionamento controfattuale in cui la "probabilità" si riferisce a universi alternativi e una struttura di universo alternativa non ha senso per quanto riguarda inferire lo stato di un individuo, come la colpa o l'innocenza di un criminale, o se il collo di bottiglia della frequenza genica in un le specie esposte a un massiccio spostamento ambientale hanno portato alla sua estinzione. Nel contesto bayesiano, la probabilità è "convinzione" non frequenza, che può essere applicata a ciò che è già precipitato.

Ora, la maggior parte dei metodi bayesiani richiede di specificare completamente i modelli di probabilità per il precedente e il risultato. E la maggior parte di questi modelli di probabilità sono parametrici. Coerentemente con ciò che dicono gli altri, questi non devono essere esattamente corretti per produrre sintesi significative dei dati. "Tutti i modelli sono sbagliati, alcuni sono utili."

Esistono ovviamente metodi bayesiani non parametrici. Questi hanno molte rughe statistiche e, in generale, richiedono un uso significativo dei dati sulla popolazione.


6

L'unico motivo per cui sto rispondendo nonostante tutte le belle risposte di cui sopra è che nessuno ha attirato l'attenzione sul motivo numero 1 che usiamo i test parametrici (almeno nell'analisi dei dati di fisica delle particelle). Perché conosciamo la parametrizzazione dei dati. Duh! Questo è un grande vantaggio. Stai riducendo le tue centinaia, migliaia o milioni di punti dati nei pochi parametri che ti interessano e descrivono la tua distribuzione. Questi ti dicono la fisica sottostante (o qualunque sia la scienza che ti fornisce i tuoi dati).

Naturalmente, se non hai idea della densità di probabilità sottostante, non hai scelta: usa i test non parametrici. I test non parametrici hanno la virtù di mancare di preconcetti preconcetti, ma possono essere più difficili da implementare - a volte molto più difficili.


5

La statistica non parametrica ha i suoi problemi! Uno di questi è l'enfasi sul test delle ipotesi, spesso abbiamo bisogno di intervalli di stima e di confidenza e inserirli in modelli complicati con non parametrici è --- complicato. C'è un ottimo post sul blog su questo, con discussione, su http://andrewgelman.com/2015/07/13/dont-do-the-wilcoxon/ La discussione conduce a questo altro post, http: // notstatschat. tumblr.com/post/63237480043/rock-paper-scissors-wilcoxon-test , che è raccomandato per un punto di vista molto diverso su Wilcoxon. La versione breve è: il Wilcoxon (e altri test di rango) può portare alla non trasparenza.


4
Non sono sicuro che la transitività sia il fine e tutto. E puoi invertire il test di Wilcoxon per ottenere un intervallo di confidenza dello stimatore di posizione molto robusto e utile.
Frank Harrell,

2
La non trasparenza ha i suoi punti nella modellazione causale, ma per due semplici test di associazione, non penso che sia davvero un problema. Inoltre, non riesco a vedere le differenze nei test di ipotesi / stima / intervalli di confidenza tra i metodi non parametrici e parametrici. A volte, con una stima attendibile, si utilizza un modello di probabilità di lavoro in modo che la stima parametrica corrispondente fornisca un riepilogo significativo dei dati (anche se non è il modello di probabilità corretto di per sé). Forse puoi espandere questa risposta?
AdamO,

2
Di solito vengono fatte alcune ipotesi extra per il test di Wilcoxon, ad esempio il dominio stocastico di un gruppo sull'altro, che se vero recupera la transitività.
Scortchi - Ripristina Monica

3

Direi che le statistiche non parametriche sono più generalmente applicabili nel senso che fanno meno ipotesi rispetto alle statistiche parametriche.

Tuttavia, se si utilizza una statistica parametrica e le ipotesi sottostanti sono soddisfatte, le statistiche paramatriche saranno più potenti di quelle non parametriche.


2

Le statistiche parametriche sono spesso modi per incorporare conoscenze esterne [ai dati]. Ad esempio, sai che la distribuzione dell'errore è normale e questa conoscenza proviene da esperienze precedenti o da altre considerazioni e non dal set di dati. In questo caso, assumendo una distribuzione normale, si incorporano queste conoscenze esterne nelle stime dei parametri, che devono migliorare le stime.

Sull'analogia dell'orologio. Oggigiorno quasi tutti gli orologi sono resistenti all'acqua ad eccezione dei pezzi speciali con gioielli o materiali insoliti come il legno. Il motivo per indossarli è proprio questo: sono speciali. Se intendevi impermeabilità, molti orologi eleganti non sono impermeabili. Il motivo per indossarli è di nuovo la loro funzione: non indosseresti un orologio da sub con una suite e una cravatta. Inoltre, oggigiorno molti orologi hanno la parte posteriore aperta in modo da poter godere guardando il movimento attraverso il cristallo. Naturalmente, questi orologi di solito non sono impermeabili.


1
Mi piace questa metafora !. Ricordo che un professore ci ha detto che dovremmo provare diversi metodi statistici sulla stessa cosa per vedere se possiamo ottenere gli stessi risultati.
Deep North,

2

Questo non è uno scenario di verifica delle ipotesi, ma può essere un buon esempio per rispondere alla tua domanda: consideriamo l'analisi del clustering. Esistono molti metodi di clustering "non parametrico" come il clustering gerarchico, K-medie ecc., Ma il problema è sempre come valutare se la soluzione di clustering è "migliore", rispetto ad altre possibili soluzioni (e spesso ci sono più soluzioni possibili) . Ogni algoritmo ti dà il meglio che può ottenere, tuttavia come sai se non c'è niente di meglio ..? Ora, ci sono anche approcci parametrici al clustering, i cosiddetti cluster basati su modelli, come i modelli di miscele finite. Con FMM costruisci un modello statistico che descrive la distribuzione dei tuoi dati e li adatta ai dati. Quando hai il tuo modello, puoi valutare la probabilità con cui i tuoi dati sono dati a questo modello, puoi usare i test del rapporto di verosimiglianza, confrontare gli AIC e usare molti altri metodi per verificare l'adattamento del modello e il confronto del modello. Gli algoritmi di clustering non parametrico raggruppano solo i dati utilizzando alcuni criteri di somiglianza, mentre con l'uso di FMM ti consentono di descrivere e provare a comprendere i tuoi dati, controllare quanto è adatto, fare previsioni ... In pratica gli approcci non parametrici sono semplici, funzionano pronti all'uso e piuttosto buoni, mentre FMM può essere problematico, ma gli approcci basati su modelli spesso offrono risultati più ricchi.


2

Le previsioni e la previsione di nuovi dati sono spesso molto difficili o impossibili per i modelli non parametrici. Ad esempio, posso prevedere il numero di richieste di garanzia per i prossimi 10 anni utilizzando un modello di sopravvivenza Weibull o Lognormal, tuttavia ciò non è possibile utilizzando il modello Cox o Kaplan-Meier.

Modifica: vorrei essere un po 'più chiaro. Se un'azienda ha un prodotto difettoso, allora è spesso interessata a proiettare il tasso di reclamo in garanzia futuro e il CDF in base ai reclami in garanzia e ai dati di vendita correnti. Questo può aiutarli a decidere se è necessario o meno un richiamo. Non so come farlo usando un modello non parametrico.


7
Mi permetto di dissentire. È possibile utilizzare un modello di Cox per stimare quantili, media (se il valore Y più alto è senza censure) e ogni sorta di probabilità. Non essere in grado di prevedere oltre l'intervallo di dati è un problema (come hai già detto) ma potresti estrapolare pericolosamente.
Frank Harrell,

@FrankHarrell Sì, buon punto, bisogna sempre fare attenzione quando si estrapola.
Glen,

Che dire di Random Forest, Deep Learning o SVM? Hanno battuto la maggior parte, se non tutti i metodi parametrici per la previsione.
en1

2
Tranne provare a prendere un albero decisionale e imparare un confine diagonale
bill_e

1

Onestamente credo che non ci sia una risposta giusta a questa domanda. A giudicare dalle risposte fornite, il consenso è che i test parametrici sono più potenti degli equivalenti non parametrici. Non contesterò questo punto di vista, ma lo vedo più come un punto di vista ipotetico che fattuale poiché non è qualcosa di esplicitamente insegnato nelle scuole e nessun revisore dei pari ti dirà mai "il tuo documento è stato respinto perché hai usato test non parametrici". Questa domanda riguarda qualcosa a cui il mondo delle statistiche non è in grado di rispondere chiaramente ma che è scontato.

La mia opinione personale è che la preferenza sia parametrica che non parametrica ha più a che fare con la tradizione che con qualsiasi altra cosa (per mancanza di un termine migliore). Le tecniche parametriche per i test e la previsione erano lì per prime e hanno una lunga storia, quindi non è facile ignorarle completamente. La previsione, in particolare, ha alcune impressionanti soluzioni non parametriche che oggi sono ampiamente utilizzate come strumento di prima scelta. Penso che questo sia uno dei motivi per cui le tecniche di apprendimento automatico come le reti neurali e gli alberi decisionali, che non sono parametrici per natura, hanno guadagnato una popolarità diffusa negli ultimi anni.


3
3/π95%

"Consenso" significa "accordo generale", non la mia opinione personale.
Digio,

2
Non mi riferivo al fatto che l'affermazione rappresentasse il tuo punto di vista personale o la saggezza collettiva degli altri, solo sottolineando che l'affermazione è corretta solo se le condizioni necessarie per un test parametrico sono vere . Quando le condizioni non valgono, potrebbe non essere più il caso che "i test parametrici sono più potenti di quelli non parametrici", e in effetti può essere il contrario (a volte con un margine molto ampio).
Silverfish

Touché! ..... +1
Digio

0

È una questione di potere statistico. I test non parametrici hanno generalmente un potere statistico inferiore rispetto alle loro controparti parametriche.


6
I test parametrici avranno più potenza quando saranno soddisfatte le loro ipotesi. Quando i loro presupposti non sono soddisfatti, i test non parametrici possono essere più potenti.
gung - Ripristina Monica

3
Questa risposta è molto breve e il potere è stato discusso nelle risposte precedenti. Considereresti di espanderlo un po '?
Scortchi - Ripristina Monica

4
Il guadagno di potenza dai test parametrici è minimo se confrontato con la perdita di potenza che subiscono quando i loro presupposti non sono soddisfatti.
Frank Harrell,

Frank, dipende dal test, alcuni test sono più robusti rispetto alle violazioni dei loro presupposti.
Modello Markov nascosto

0

Molte buone risposte già, ma ci sono alcuni motivi che non ho visto menzionato:

  1. Familiarità. A seconda del pubblico, il risultato parametrico può essere molto più familiare di un non parametrico approssimativamente equivalente. Se i due danno conclusioni simili, allora la familiarità è buona.

  2. Semplicità. A volte, il test parametrico è più semplice da eseguire e da segnalare. Alcuni metodi non parametrici richiedono molto computer. Naturalmente, i computer sono diventati molto più veloci e anche gli algoritmi sono migliorati, ma .... i dati sono diventati "più grandi".

    1. A volte ciò che di solito è uno svantaggio del test parametrico è in realtà un vantaggio, sebbene questo sia specifico per particolari coppie di test. Ad esempio, sono, generalmente, un fan della regressione quantile in quanto fa meno ipotesi rispetto ai soliti metodi. Ma a volte è davvero necessario stimare la media, piuttosto che la mediana.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.