Cosa c'è di sbagliato nel riassumere tutti i singoli valori ?p
Come argomentano @whuber e @Glen_b nei commenti, il metodo di Fisher sta essenzialmente moltiplicando tutti i singoli valori , e moltiplicare le probabilità è una cosa più naturale da fare che aggiungerli.p
Si possono ancora aggiungere. In effetti, proprio questo è stato suggerito da Edgington (1972) Un metodo additivo per combinare i valori di probabilità da esperimenti indipendenti (sotto la parete di pagamento), e talvolta è indicato come il metodo di Edgington. Il documento del 1972 conclude affermando che
Il metodo additivo ha dimostrato di essere più potente del metodo moltiplicativo, avendo una maggiore probabilità rispetto al metodo moltiplicativo di produrre risultati significativi quando in realtà ci sono effetti di trattamento.
ma dato che il metodo rimane relativamente sconosciuto, sospetto che questa sia stata almeno una semplificazione eccessiva. Ad esempio una panoramica recente Cousins (2008) Bibliografia annotata di alcuni articoli sulla combinazione di significati o valori p non menziona affatto il metodo di Edgington e sembra che questo termine non sia mai stato menzionato su CrossValidated.
È facile escogitare vari modi per combinare i valori (una volta ne ho inventato uno io stesso e ho chiesto perché non è mai stato usato: metodo Z-score di Stouffer: e se sommiamo invece di ? ), e quale sia un metodo migliore è in gran parte una domanda empirica. Vedi la risposta di @ whuber lì per un confronto empirico del potere statistico di due diversi metodi in una situazione specifica; c'è un chiaro vincitore.z 2 zpz2z
Quindi la risposta alla domanda generale sul perché usare qualsiasi metodo "contorto" è che si può guadagnare potere.
Zaykin et al (2002) Metodo di prodotto troncato per la combinazione di valori p esegue alcune simulazioni e include il metodo di Edgington nel confronto, ma non sono sicuro delle conclusioni.
Un modo per visualizzare tutti questi metodi è disegnare regioni di rifiuto per , come ha fatto @Elvis nella sua bella risposta (+1). Ecco un'altra figura che include esplicitamente il metodo di Edgington da quello che sembra essere un poster Combinazione non parametrica di Winkler et al (2013) per analisi di imaging multimodale :n=2
Detto questo, penso che rimanga ancora una domanda sul perché il metodo di Edgington sarebbe (spesso?) Non ottimale, come risulta oscuro.
Forse uno dei motivi dell'oscurità è che non si conforma molto bene alla nostra intuizione: per , se (o superiore), indipendentemente dal valore di , il valore nullo combinato non verrà rifiutato in , vale a dire anche se .p 1 = 0,4 p 2 α = 0,05 p 2 = 0,00000001n=2p1=0.4p2α=0.05p2=0.00000001
Più in generale, sommando i valori difficilmente si distinguono numeri molto piccoli come ad esempio da , ma la differenza in queste probabilità è in realtà enorme.p = 0,001 p = 0,00000001pp=0.001p=0.00000001
Aggiornare. Ecco cosa scrivono Hedges e Olkin sul metodo di Edgintgon (dopo aver esaminato altri metodi per combinare i valori ) nei loro metodi statistici per la meta-analisi (1985), sottolineando il mio:p
Una procedura di test combinato piuttosto diversa è stata proposta da Edgington (1972a, b). Edgington proposto combinando -Valori mediante somma e ha dato un metodo noioso ma semplice per ottenere livelli di significatività per . Una grande approssimazione del campione ai livelli di significatività di è data in Edgington (1972b). Sebbene sia una procedura di combinazione monotona e quindi ammissibile, il metodo di Edgington è generalmente considerato una procedura scadente poiché un grande valore può sopraffare molti piccoli valori che compongono la statistica. Tuttavia, non ci sono state quasi indagini numeriche su questa procedura.S = p 1 + ⋯ + p k , S S pp
S=p1+⋯+pk,
SSp