Test di permutazione: criteri per scegliere una statistica di test

Uso regolarmente i test di permutazione e adoro la loro semplicità. Ho imparato di più dal libro "Metodi di ricampionamento" di Good, in cui l'autore sembra abbastanza creativo nella scelta delle statistiche dei test negli esempi. Anche questo post dà l'impressione che ci sia una grande libertà di scegliere una statistica di prova.

Mi chiedo se ci siano requisiti teorici che una statistica di test dovrebbe rispettare . O possiamo semplicemente usare qualsiasi statistica purché abbia un senso intuitivo e abbia buoni tassi di errore di tipo I / II?

Ad esempio, quando si utilizza un test di permutazione al posto del test t a causa di popolazioni non normali, ho visto diverse volte che il valore p del test di permutazione è ancora ottenuto dalle statistiche t. Sebbene non sia necessariamente sbagliato, sembra una scelta strana data l'origine della distribuzione t di Student.

La statistica t ha molto senso come statistica test; molte persone lo trovano intuitivo. Se cito una statistica t di 0,5 o 5,5, ti dice qualcosa: quanti errori standard a parte i mezzi sono.

La difficoltà - almeno con una moderata non normalità - non è tanto nell'usare la statistica quanto nell'usare la distribuzione t per la sua distribuzione sotto il nulla. La statistica è abbastanza sensata.

Naturalmente, se ti aspetti code sostanzialmente più pesanti della normale, una statistica più solida farebbe meglio, ma la statistica t non è altamente sensibile alle lievi deviazioni dalla normalità (ad esempio è meno sensibile della statistica del rapporto di varianza).

Se vuoi usare solo il numeratore della statistica, è fantastico, ha perfettamente senso come statistica di permutazione, se sei interessato a una differenza di mezzi. Se sei interessato a un senso più generale del cambiamento di posizione, si aprono molte altre possibilità.

Hai ragione a pensare che ci sia molta libertà di scegliere una statistica e di adattarla alle circostanze particolari: a quali alternative vuoi il potere o a quali possibili problemi ti piacerebbe essere robusti (la contaminazione, ad esempio, può potenza d'impatto).

Non ci sono praticamente restrizioni: sei libero di scegliere praticamente qualsiasi cosa, comprese statistiche di test inutili. Ci sono alcune considerazioni a cui dovresti davvero pensare quando scegli i test, ovviamente, ma sei libero di non farlo.

-

Detto questo, ci sono alcuni criteri che possono essere applicati in varie circostanze.

Ad esempio, se sei particolarmente interessato a un tipo specifico di ipotesi, puoi fare uso di una statistica che la rifletta; ad esempio, se vuoi testare una differenza nella popolazione, ha spesso senso fare la tua statistica test correlato a una differenza nei mezzi di campionamento.

Se conosci qualcosa sul tipo di distribuzione che potresti avere: code pesanti o inclinate, o nozione di coda leggera ma con un certo grado di contaminazione o bimodale, puoi escogitare una statistica di prova che potrebbe andare bene in tali circostanze, ad esempio, scegliere una statistica che dovrebbe funzionare bene nella situazione prevista ma che abbia una certa solidità alla contaminazione.

-

La simulazione è un modo per investigare il potere in varie situazioni.