Esiste un test statistico parametrico e non parametrico?

20

Esiste un test statistico parametrico e non parametrico? Questa domanda è stata posta da un panel di interviste. È una domanda valida?

nonparametric terminology parametric

— BioStat
fonte

1

Studiare la voce di Wikipedia per statistiche non parametriche potrebbe essere sufficiente per prepararti per un intervistatore. Potresti rispondere alla domanda con una domanda, come in "cosa intendi con modelli non parametrici? Modelli senza distribuzione o statistica dell'ordine di rango?"

— jrhorn424,

3

Come punto di partenza, potrebbe essere utile per te, così come per i tuoi intervistati, consultare un'autorità ( non Internet!) In merito alle definizioni. "I casi parametrici ... sono tutti quelli in cui la classe di tutti [gli stati della natura] può essere rappresentata in termini di un vettore costituito da un numero finito di componenti reali in modo naturale. (... la distribuzione e la funzione di perdita dipende da in modo ragionevolmente regolare.) Tutti gli altri problemi sono chiamati non parametrici .-- JC Kiefer, Introduzione all'inferenza statistica, p. 23.

θ

$\theta$

θ

$\theta$

— whuber

Uno dei professori mi ha detto che il "test Chi-Square" ha entrambi i comportamenti (vale a dire, anche parametrici e non parametrici). Non capivo affatto, perché il "chi square test" avesse entrambi i comportamenti.

— Biostat,

3

Non è il test che è parametrico, è il modello che è. Le distribuzioni chi-quadrato sorgono in entrambe le situazioni (in modo naturale nel modello lineare generale con ipotesi distributive normali e come approssimazione per una differenza di probabilità logaritmiche - entrambe applicazioni parametriche) e anche come approssimazione per il multinomiale distribuzioni che sorgono in molte applicazioni non parametriche), quindi ci sono molti test diversi che condividono il nome "chi-quadrato". Questo è probabilmente ciò che ha suggerito il commento del tuo professore.

— whuber

@whuber: Il tuo ultimo commento significa che il test chi-quadro per la bontà di adattamento non è parametrico?

— Tim

6

È fondamentalmente difficile dire esattamente cosa si intende per "test parametrico" e "test non parametrico", anche se ci sono molti esempi concreti in cui la maggior parte concorderà sul fatto che un test sia parametrico o non parametrico (ma mai entrambi) . Una rapida ricerca ha dato questa tabella , che immagino rappresenti una distinzione pratica comune in alcune aree tra test parametrici e non parametrici.

Appena sopra la tabella a cui si fa riferimento c'è un'osservazione:

"... i dati parametrici hanno una distribuzione normale sottostante .... Tutto il resto non è parametrico."

Potrebbe essere un criterio accettato in alcune aree che o assumiamo la normalità e usiamo ANOVA, e questo è parametrico, oppure non assumiamo la normalità e usiamo alternative non parametriche.

Forse non è una definizione molto buona, e secondo me non è proprio corretta, ma potrebbe essere una pratica regola pratica. Soprattutto perché l'obiettivo finale nelle scienze sociali, per esempio, è analizzare i dati, e a che serve poter formulare un modello parametrico basato su una distribuzione non normale e quindi non essere in grado di analizzare i dati?

Una definizione alternativa è definire "test non parametrici" come test che non si basano su ipotesi distributive e test parametrici come qualsiasi altra cosa.

La prima e la seconda definizione presentate definiscono una classe di test e quindi definiscono l'altra classe come complemento (qualsiasi altra cosa). Per definizione, questo esclude che un test può essere sia parametrico che non parametrico.

La verità è che anche quest'ultima definizione è problematica. E se ci fossero alcune ipotesi "non parametriche" naturali, come la simmetria, che possono essere imposte? Ciò trasformerà una statistica di test che altrimenti non si basa su ipotesi distributive in un test parametrico? La maggior parte direbbe di no!

Quindi ci sono test nella classe di test non parametrici che possono fare alcune ipotesi distributive purché non siano "troppo parametrici". Il confine tra i test "parametrico" e "non parametrico" è diventato sfocato, ma credo che la maggior parte sosterrà che o un test è parametrico o non parametrico, forse non può essere nessuno dei due ma dire che è entrambi ha poco senso. $-$

Prendendo un diverso punto di vista, molti test parametrici sono (equivalenti a) test del rapporto di verosimiglianza. Ciò rende possibile una teoria generale e abbiamo una comprensione unificata delle proprietà distributive dei test del rapporto di verosimiglianza in condizioni di regolarità adeguate. Al contrario, i test non parametrici non equivalgono ai test del rapporto di verosimiglianza di per sé non esiste alcuna probabilità e senza la metodologia unificante basata sulla probabilità dobbiamo derivare risultati distributivi caso per caso. La teoria della probabilità empirica $-$ $-$ sviluppato principalmente da Art Owen a Stanford è, tuttavia, un compromesso molto interessante. Offre un approccio alla statistica basato sulla verosimiglianza (un punto importante per me, poiché considero la verosimiglianza come un oggetto più importante di un valore , diciamo) senza la necessità di ipotesi distributive parametriche tipiche. L'idea fondamentale è un uso intelligente della distribuzione multinomiale sui dati empirici, i metodi sono molto "parametrici" ma validi senza limitare i presupposti parametrici. $p$

I test basati sulla probabilità empirica hanno, IMHO, le virtù dei test parametrici e la generalità dei test non parametrici, quindi tra i test a cui riesco a pensare, si avvicinano per qualificarsi per essere parametrici e non parametrici, anche se vorrei non usare questa terminologia.

— NRH
fonte

+1 Commenti molto interessanti. Per quanto il confine diventi "sfocato", lo prendo come un'affermazione corretta sulla percezione, ma non c'è sfocatura nelle definizioni stesse: la distinzione tra parametrico e non parametrico è chiara e netta come quella tra, diciamo, finito e infinito.

— whuber

@whuber, per quanto riguarda ciò che è "sfocato", mi riferivo in particolare al fatto che ci possono essere ipotesi distributive anche per test non parametrici, quindi anche la mia seconda definizione non funziona. Se dovessi tentare una definizione nitida, un test parametrico si basa su un modello che può essere parametrizzato da un sottoinsieme di uno spazio euclideo di dimensioni finite. Ciò che ritengo più "sfocato" è che per me non è chiaro quanto si possa andare lontano da "nessuna ipotesi distributiva" prima che ipotesi non parametriche diventino tanto un problema quanto ipotesi parametriche.

— NRH

@whuber, ora ho letto il tuo commento alla domanda con riferimento a Kiefer, e sì, è sicuramente una buona idea consultare un'autorità per una definizione formale! In realtà ero più preoccupato di ciò che le persone generalmente intendono quando dicono "non parametrico", e immagino che pochi abbiano in mente una definizione di Kiefer.

— NRH

Vedi la mia citazione da Kiefer in un commento alla domanda originale. In particolare, "non parametrico" non significa "nessuna ipotesi distributiva". Al contrario, i test non parametrici più noti fanno tutti ipotesi distributive. Penso di capire il tuo senso di "sfocato": ho scelto l'analogia finita / infinita per rispetto, perché in pratica un numero molto grande (ma finito) di parametri potrebbe essere considerato infinito.

— whuber

2

Parametric è usato in (almeno) due significati: A - Per dichiarare che stai assumendo la famiglia della distribuzione del rumore fino ai suoi parametri. B - Per dichiarare che stai assumendo la relazione funzionale specifica tra le variabili esplicative e il risultato.

Qualche esempio:

Una regressione quantile con un collegamento lineare si qualificherebbe come B-parametrico e A-non parametrico.
Il livellamento della spline di una serie temporale con rumore gaussiano può essere di qualità A non parametrica e B parametrica.

Il termine "semi-parametrico" di solito si riferisce al caso B e significa che non stai assumendo l'intera relazione funzionale, ma piuttosto hai ipotesi più lievi come "additivo in qualche trasformazione graduale dei predittori".

Potresti anche avere ipotesi più lievi sulla distribuzione del rumore, come "tutti i momenti sono limitati", senza specificare in modo specifico la forma della distribuzione. Per quanto ne so, non esiste un termine per questo tipo di ipotesi.

Si noti che la risposta si riferisce alle ipotesi sottostanti alla base del processo di generazione dei dati. Quando si dice "test a-parametrico", di solito si fa riferimento a non parametrico nel senso A. In questo è ciò che intendevi, quindi risponderei "no". Sarebbe impossibile essere parametrici e non parametrici nello stesso senso allo stesso tempo.

— JohnRos
fonte

I due significati del primo paragrafo hanno spesso un trattamento unificato in letteratura: cioè, non sembra esserci alcuna distinzione fondamentale o importante tra loro. A proposito, il caso "tutti i momenti sono finiti" è sicuramente un problema non parametrico.

— whuber

@whuber: la definizione in Keifer sembra coprire entrambi i casi (lo ammetto, non l'ho mai letto e cerco ancora delle eccezioni). D'altra parte, i termini cambiano il loro significato. "Empirical-Bayes" non significa più ciò per cui Robbins lo usò nel 1955. Non si può ignorare il fatto che circola più di un'interpretazione.

— JohnRos

OK, ma dovremmo essere un po 'esigenti: è ovvio che molte interpretazioni e tentate definizioni di "parametrico" e "non parametrico" sono espressioni di ignoranza, non di comprensione. Puoi citare una definizione alternativa che sia al tempo stesso chiara, rigorosa e autorevole (per essere precisi, autorevoli nel senso che sarebbe accettata senza dubbio da una rivista credibile peer-reviewed)?

— whuber

1

@whuber: accetto la sfida! :-) Anche se nota, dal momento che tutti i ricercatori iniziano le loro ricerche su Wikipedia, è una questione di tempo fino a quando le riviste credibili peer-reviewed non si allineano alla definizione di Wiki. ("se non puoi batterli ...")

— JohnRos

1

L' articolo di Wikipedia cita Wolfowitz degli anni '40, che non solo è il primo a usare "non parametrico", ma è anche uno dei progenitori intellettuali diretti di Kiefer. Non credo che troveremo alcuna differenza reale lì. (Kiefer aggiunge solo un requisito tecnico sulla funzione di perdita.) Tuttavia, sospetto che pochissimi (se ve ne siano) ricercatori autentici considerino Wikipedia come punto di partenza, specialmente non in campi con basi matematiche!

— whuber

1

Suppongo che dipenda da cosa significano per "parametrico e non parametrico"? Allo stesso tempo esattamente entrambi, o una miscela dei due?

Molti considerano il modello dei rischi proporzionali di Cox semi-parametrico, in quanto non stima in modo parametrico il rischio di base.

Oppure potresti scegliere di visualizzare molte statistiche non parametriche come in realtà massicciamente parametriche.

— fomite
fonte

7

Questa sembra essere una schivata. La domanda è se si apprezza la distinzione tra "parametrico" e "non parametrico", indipendentemente dal fatto che sia chiaro o meno. Una buona risposta illuminerà questa distinzione, non confonderla.

— whuber

1

@whuber Quale "la domanda"? Il pannello o l'OP? Perché nella mia mente, l'OP non sta indagando sulla distinzione di nulla. Ciò significa che dipende da dove le persone tracciano la linea. Non penso che fornire sia un esempio comune che filosofico per "Beh, dipende" è una schivata. Penso che sia una risposta. Ad esempio se uno vuole considerare un "parametrico" come completamente parametrico o semplicemente avere parametri.

— Fomite,

Il punto su "quale domanda" è buono. Penso che il punto in cui comincio ad avere qualche problema con la tua risposta sia che fa distinzioni che secondo le mie risorse non ha senso (una "fusione" è priva di senso, così come l'idea che una "statistica" può essere parametrica), il che suggerisce stai usando una definizione diversa di "parametrica" e "non parametrica" rispetto a me. Sebbene tu sottolinei in modo eccellente che una risposta deve dipendere dal significato di questi termini, in realtà non offri una definizione per rendere chiari o comprensibili i tuoi commenti successivi.

— whuber

@whuber Abbastanza giusto. Ho trovato la domanda originale un po 'insensata, quindi stavo facendo quello che potevo. La domanda ora ha risposte migliori che fanno alcune ipotesi sul significato del PO.

— Fomite,

0

Bradley, nei suoi classici test statistici senza distribuzione (1968, pagg. 15–16 - vedi questa domanda per un preventivo) chiarisce la differenza tra test senza distribuzione e test non parametrici , che dice sono spesso confusi tra loro, e dà un esempio di test parametrico senza distribuzione come test di segno per la mediana. Questo test non fa ipotesi sulla distribuzione sottostante della popolazione campionata di valori variabili, quindi è privo di distribuzione . Tuttavia, se la mediana selezionata è corretta, i valori sopra e sotto devono essere selezionati alla stessa probabilità, testando campioni casuali da $p=0.5$

Aggiornare

$(A \cap \neg A)$

— Avraham
fonte

1

Mi piace l'inizio di questa risposta perché fa una distinzione interessante e la supporta con un buon riferimento. Tuttavia, mi sembra che il resto della risposta confonda i presupposti sui dati con le proprietà della statistica test. Le ipotesi del test dei segni sono effettivamente "senza distribuzione". Tuttavia, il fatto che la distribuzione campionaria della statistica test sia binomiale è un problema completamente separato e non rende la procedura parametrica!

— whuber

Bene, lo stesso Bradley chiama il test Sign senza distribuzione ma parametrico a pagina 15. La casella dei commenti è troppo piccola per portare le due frasi chiave nella loro interezza. Si prega di leggere l'altra risposta, in particolare le frasi che iniziano "In parole povere ..." e "Per essere del tutto chiare ...". Grazie.

— Avraham,

Se questo è il caso di Bradley, allora i significati di questi termini sono cambiati da allora o (odio dirlo) si fraintendono ciò che ha scritto. (Non ho accesso a una copia che posso controllare.) Non è assolutamente il caso ora - né è stato per almeno gli ultimi 30 anni - che "parametrico" si è riferito alla distribuzione di una statistica di prova. Vedi la citazione di Wolfowitz nell'articolo di Wikipedia .

— whuber

2

F

$F$

Ω

$\Omega$

θ

$\theta$

2

Per quello che vale, ho esaminato altri due testi statistici, Probabilità e statistica di DeGroot (2a edizione, pp 520-521) e Larson's Introduction to Probability Theory and Statistical Inference (3a edizione, pp.508-509) ed entrambi usano il termine parametrico per indicare ciò che Bradly chiama senza distribuzione , che è come Kiefer, credo. Quindi, per rispondere all'OP, dipende da come si definisce "parametrico".

— Avraham,