Che cos'è un solido test statistico? Che cos'è un potente test statistico?

Alcuni test statistici sono robusti e altri no. Cosa significa esattamente robustezza? Sorprendentemente, non sono riuscito a trovare una domanda del genere su questo sito.

Inoltre, a volte, la robustezza e la potenza di un test vengono discusse insieme. E intuitivamente, non sono riuscito a distinguere tra i due concetti. Che cos'è un test potente? In cosa differisce da un solido test statistico?

statistical-significance power robust

— Disritmia
fonte

Potenza e robustezza sono concetti ortogonali, anche se sono due proprietà importanti di un test. Mi sembra che sarebbe meglio porre due domande separate.

— Stephan Kolassa,

Potremmo definire robustezza come proprietà di una procedura adattata che è insensibile alle violazioni di alcuni presupposti della sua teoria di base.

— Firebug

Risposte:

La robustezza ha vari significati nelle statistiche, ma tutti implicano una certa resilienza ai cambiamenti nel tipo di dati utilizzati. Questo può sembrare un po 'ambiguo, ma ciò è dovuto al fatto che la robustezza può riferirsi a diversi tipi di insensibilità ai cambiamenti. Per esempio:

Robustezza ai valori anomali
Robustezza alla non normalità
Robustezza alla varianza non costante (o eteroscedasticità)

Nel caso dei test , la robustezza di solito si riferisce al fatto che il test è ancora valido dato tale cambiamento. In altre parole, se il risultato è significativo o meno è significativo solo se i presupposti del test sono soddisfatti. Quando tali ipotesi sono rilassate (cioè non altrettanto importanti), il test si dice robusto.

Il potere di un test è la sua capacità di rilevare una differenza significativa se esiste una differenza reale. Il motivo per cui test e modelli specifici sono utilizzati con varie ipotesi è che queste ipotesi semplificano il problema (ad esempio richiedono meno parametri per essere stimati). Maggiore è il presupposto di un test, minore è la sua efficacia, poiché tutti questi presupposti devono essere soddisfatti affinché il test sia valido.

D'altra parte, un test con meno ipotesi è più solido. Tuttavia, la robustezza generalmente ha un costo in termini di potenza, poiché vengono utilizzate meno informazioni dall'input o è necessario stimare più parametri.

$t$

$F$ $F$

— Frans Rodenburg
fonte

La tua risposta è molto chiara e di facile comprensione. Ho modificato per domanda per chiedere di più se un test è powerfulcome vedo che ne hai discusso nella tua risposta. Ti dispiacerebbe spiegare cosa significa un test potente?

— JetLag

Ho incluso una breve descrizione di come ciò si collega alla potenza di un test.

— Frans Rodenburg,

Questa è un'ottima risposta, voglio solo aggiungere che ci sono modi per formalizzare la definizione. Alcuni ritengono che un test sia solido se ha sia la robustezza della validità , ovvero il livello di significatività del test è stabile dati i piccoli scostamenti dal nulla, sia la robustezza dell'efficienza , ovvero la potenza è ancora buona dato i piccoli scostamenti dall'alternativa specificata; e queste qualità possono essere quantificate attraverso l'uso delle funzioni di influenza .

— Francesco,

@Eric, l'equivalenza non è vera solo per due gruppi?

— Sesto Empirico

F

$F$

Non esiste una definizione formale di "solido test statistico", ma esiste una sorta di accordo generale sul significato di ciò. Il sito Web di Wikipedia ha una buona definizione di questo (in termini di statistica piuttosto che il test stesso):

Le statistiche affidabili sono statistiche con buone prestazioni per i dati ricavati da una vasta gamma di distribuzioni di probabilità, in particolare per le distribuzioni che non sono normali.

https://en.wikipedia.org/wiki/Robust_statistics

— Rob Ustinov
fonte