Calcolo del potere statistico

A quanto ho capito, ho bisogno di conoscere almeno tre aspetti (su quattro) del mio studio proposto al fine di condurre analisi di potenza, vale a dire:

tipo di test - intendo utilizzare Pearson's r e ANCOVA / Regression - GLM
livello di significatività (alfa) - Intendo usare 0.05
dimensione dell'effetto prevista - Intendo utilizzare una dimensione dell'effetto media (0,5)
misura di prova

Qualcuno potrebbe raccomandare un buon calcolatore di potenza online che posso usare per fare il calcolo della potenza a priori . (SPSS può fare il calcolo della potenza a priori ?)

Ho incontrato GPower ma sto cercando uno strumento più semplice!

power-analysis

— Adhesh Josh
fonte

Sfortunatamente il pacchetto SPSS non include un modulo per l'analisi della potenza. La società IBM SPSS vende un programma separato per l'analisi della potenza.

— ttnphns,

Darei una possibilità a GPower. Con 20 o 30 minuti di esplorazione, probabilmente troverai molto gestibile, almeno per procedure come la correlazione, non necessariamente per un modello di regressione complicato.

— rolando2,

Grazie! Esiste una guida intuitiva disponibile su GPower?

— Adhesh Josh,

Sembra che sia per una domanda di sovvenzione. Questi sono fastidiosi per produrre e valutare. Per progetti sperimentali ben utilizzati (ad esempio studi di associazione a livello del genoma) potrebbero esserci calcolatori specializzati ben documentati. Altrimenti, penso che la risposta di G. Jay Kerns sia la strada giusta da percorrere con la seguente aggiunta: mentre ci sei, dovresti simulare una gamma dei parametri più importanti e presentare un grafico.

— Leo Schalkwyk,

Questa non è una risposta che vorrai sentire, temo, ma lo dirò comunque: prova a resistere alla tentazione dei calcolatori online (e risparmia i tuoi soldi prima di acquistare calcolatori proprietari).

Ecco alcuni dei motivi per cui: 1) i calcolatori online usano tutti una notazione diversa e sono spesso scarsamente documentati. È una perdita di tempo. 2) SPSS offre un calcolatore di potenza ma non l'ho mai provato perché era troppo costoso per il mio dipartimento! 3) Frasi come "effetto medio" sono nella migliore delle ipotesi fuorvianti e nel peggiore dei casi semplicemente sbagliate per tutti tranne i più semplici progetti di ricerca. Ci sono troppi parametri e troppe interazioni per riuscire a distillare la dimensione dell'effetto fino a un singolo numero in [0,1]. Anche se tu potessi metterlo in un singolo numero, non c'è garanzia che lo 0,5 di Cohen corrisponda al "mezzo" nel contesto del problema.

Credimi - a lungo termine è meglio mordere il proiettile e insegnare a te stesso come utilizzare la simulazione a tuo vantaggio (e il beneficio della persona o delle persone che stai consultando). Siediti con loro e completa i seguenti passi:

1) Decidi un modello appropriato nel contesto del problema (sembra che tu abbia già lavorato su questa parte).

2) Consultare loro per decidere quali dovrebbero essere i parametri null, il comportamento del gruppo di controllo, qualunque cosa ciò significhi nel contesto del problema.

3) Consultarsi con loro per determinare quali parametri dovrebbero essere affinché la differenza sia praticamente significativa . Se ci sono limiti di dimensione del campione, questo dovrebbe essere identificato anche qui.

4) Simula i dati secondo i due modelli in 2) e 3) ed esegui il test. Puoi farlo con il software a bizzeffe: scegli il tuo preferito e provalo. Vedi se hai rifiutato o meno.

$n$ $\hat{p}$ $\sqrt{\hat{p}(1 - \hat{p})/n}$

Se esegui la tua analisi della potenza in questo modo, troverai diverse cose: A) c'erano molti più parametri in giro di quanto tu non abbia mai previsto. Ti chiederà come nel mondo sia possibile farli collassare tutti in un unico numero come "medium" - e vedrai che non è possibile, almeno non in modo semplice. B) il tuo potere sarà molto più piccolo di quanto molti altri calcolatori pubblicizzino. C) è possibile aumentare la potenza aumentando la dimensione del campione, ma attenzione! Potresti scoprire che per rilevare una differenza "praticamente significativa" hai bisogno di una dimensione del campione proibizionalmente grande.

Se hai problemi con uno qualsiasi dei passaggi precedenti, puoi raccogliere i tuoi pensieri, formulare una domanda per CrossValidated e le persone qui ti aiuteranno.

EDIT: Nel caso in cui ti accorgessi che devi assolutamente usare una calcolatrice online, la migliore che ho trovato è la pagina di potenza e dimensioni del campione di Russ Lenth . È in circolazione da molto tempo, ha una documentazione relativamente completa, non dipende dalle dimensioni degli effetti fissi e ha collegamenti ad altri documenti che sono pertinenti e importanti.

UN ALTRO EDIT: Per coincidenza, quando è arrivata questa domanda, ero proprio nel mezzo della stesura di un post sul blog per concretizzare alcune di queste idee (altrimenti, non avrei potuto rispondere così rapidamente). Comunque, l'ho finito lo scorso fine settimana e puoi trovarlo qui . Non è scritto pensando a SPSS, ma scommetto che se una persona fosse intelligente potrebbe essere in grado di tradurne parti nella sintassi SPSS.

+1 buona risposta. Vale la pena sottolineare gli svantaggi della simulazione. (L'alternativa è che le curve di potenza possono essere calcolate matematicamente.) La simulazione diventa ingombrante quando molti parametri (come la dimensione dell'effetto e la dimensione del campione) devono essere manipolati o quando si cerca un valore di soglia, come una dimensione minima del campione. Anche un'espressione approssimativa esatta per il potere può essere utile per indicare in generale come si comporta il potere e per identificare soluzioni iniziali che possono essere lucidate con un po 'di simulazione.

— whuber

@whuber Grazie e hai perfettamente ragione. Il tuo commento mi ricorda che spesso c'è un'incertezza aggiuntiva nei parametri null / alt (informazioni scarse, studi pilota scadenti, ecc.) Che aggiunge un altro livello di complessità all'approccio di simulazione. Questo è un altro vantaggio dell'approccio matematico.

Invece di fissare i valori dei parametri sconosciuti, è utile simularli assegnando una distribuzione precedente su questi parametri e quindi ottenere un "potere precedente" (questo non è un approccio bayesiano, nonostante il concetto di distribuzione precedente, perché simuliamo il risultato del test del frequentista)

— Stéphane Laurent il

Ci sono due problemi con la simulazione: impararla (questa è solubile) e completare il passaggio 3. Nella mia esperienza, nessuno dei miei clienti sarebbe disposto a fare 3). Molti hanno difficoltà a specificare QUALSIASI dimensione dell'effetto. Chiedere loro di specificare i parametri in (diciamo) un'equazione di regressione multipla sarebbe ... beh, non saprebbero come rispondere, anche se conoscono il significato, non saranno disposti a specificare.

— Peter Flom - Ripristina Monica

Stephane sì, hai ragione, ed era quello che intendevo per livello extra che stavo cercando di comunicare. @ Peter Sigh! sì, ho riscontrato anche questo. Cerco di parlare di mezzi, errori standard, ecc. E poi di elaborare la maggior parte della matematica che posso in seguito. Parte di esso è una barriera di comunicazione che a volte rappresenta una sfida. La parte di riluttanza è ancora più dura, però. In passato mi arrendevo e cercavo di riempire gli spazi vuoti, ma raramente funzionava bene. Cioè, la risposta è essenzialmente uno scatto nel buio con una benda sugli occhi e in piedi all'indietro.