Questa domanda è in risposta a una risposta data da @Greg Snow in merito a una domanda che ho posto in merito all'analisi di potenza con regressione logistica e SAS Proc GLMPOWER.

Se sto progettando un esperimento e analizzerò i risultati in una regressione logistica fattoriale, come posso usare la simulazione (e qui ) per condurre un'analisi di potenza?

Ecco un semplice esempio in cui ci sono due variabili, la prima assume tre possibili valori {0,03, 0,06, 0,09} e la seconda è un indicatore fittizio {0,1}. Per ciascuno stimiamo il tasso di risposta per ciascuna combinazione (numero di responder / numero di persone commercializzate). Inoltre, desideriamo avere 3 volte più della prima combinazione di fattori rispetto alle altre (che possono essere considerate uguali) perché questa prima combinazione è la nostra versione provata e vera. Questa è una configurazione come quella fornita nel corso SAS menzionato nella domanda collegata.

Il modello che verrà utilizzato per analizzare i risultati sarà una regressione logistica, con effetti e interazione principali (la risposta è 0 o 1).

mod <- glm(response ~ Var1 + Var2 + I(Var1*Var2))

Come posso simulare un set di dati da utilizzare con questo modello per condurre un'analisi di potenza?

Quando eseguo questo tramite SAS Proc GLMPOWER(usando STDDEV =0.05486016 quale corrisponde a sqrt(p(1-p))dove p è la media ponderata dei tassi di risposta mostrati):

data exemplar;
  input Var1 $ Var2 $ response weight;
  datalines;
    3 0 0.0025  3
    3 1 0.00395 1
    6 0 0.003   1
    6 1 0.0042  1
    9 0 0.0035  1
    9 1 0.002   1;
run;

proc glmpower data=exemplar;
  weight weight;
  class Var1 Var2;
  model response = Var1 | Var2;
  power
    power=0.8
    ntotal=.
    stddev=0.05486016;
run;

Nota: GLMPOWERutilizzerà solo le variabili di classe (nominali) in modo che 3, 6, 9 sopra siano trattati come caratteri e avrebbero potuto essere bassi, medi e alti o altre tre stringhe. Quando viene condotta l'analisi reale, Var1 verrà utilizzato un valore numerico (e includeremo un termine polinomiale Var1 * Var1) per tenere conto di qualsiasi curvatura.

L'output di SAS è

Quindi vediamo che abbiamo bisogno di 762.112 come dimensione del campione (l'effetto principale Var2 è il più difficile da stimare) con potenza pari a 0,80 e alfa uguale a 0,05. Assegneremmo questi in modo che 3 volte il numero fosse la combinazione di base (cioè 0,375 * 762112) e il resto cadesse ugualmente nelle altre 5 combinazioni.

Preliminari:

• $N$$ES$$\alpha$

  • $N$$\alpha=.05$
  • $N$

• Oltre all'eccellente post di @ GregSnow, qui puoi trovare un'altra guida davvero eccezionale alle analisi di potenza basate su simulazione su CV: Calcolo della potenza statistica . Per riassumere le idee di base:

  1. capire l'effetto che si desidera essere in grado di rilevare
  2. generare N dati da quel mondo possibile
  3. eseguire l'analisi che si intende condurre su tali dati falsi
  4. memorizza se i risultati sono "significativi" in base all'alfa scelta
  5. $B$$N$
  6. $N$

• $p$$p$$B$$p$$B$

• In R, il modo principale per generare dati binari con una data probabilità di "successo" è ? Rbinom

  • Ad esempio, per ottenere il numero di successi su 10 prove di Bernoulli con probabilità p, il codice sarebbe rbinom(n=10, size=1, prob=p): (probabilmente vorrai assegnare il risultato a una variabile per l'archiviazione)
  • puoi anche generare tali dati in modo meno elegante usando ? runif , ad es.ifelse(runif(1)<=p, 1, 0)
  • se ritieni che i risultati siano mediati da una variabile gaussiana latente, potresti generare la variabile latente in funzione delle tue covariate con ? rnorm , quindi convertirle in probabilità con pnorm()e utilizzare quelle nel tuo rbinom()codice.

• $var1^2$$var1*var2$$var1^2*var2$

• Sebbene scritta nel contesto di una domanda diversa, la mia risposta qui: La differenza tra i modelli logit e probit ha molte informazioni di base su questi tipi di modelli.

• Così come ci sono diversi tipi di tassi di errore di tipo I quando ci sono più ipotesi (ad esempio, per contrasto tasso di errore , il tasso di errore familywise , e per famiglia tasso di errore ), così Ci sono diversi tipi di potere * (ad esempio, per un singolo effetto predefinito , per qualsiasi effetto e per tutti gli effetti ). Potresti anche cercare il potere di rilevare una specifica combinazione di effetti, o il potere di un test simultaneo del modello nel suo insieme. La mia ipotesi dalla tua descrizione del tuo codice SAS è che sta cercando quest'ultimo. Tuttavia, dalla tua descrizione della tua situazione, presumo che tu voglia rilevare gli effetti di interazione al minimo.

  • * riferimento: Maxwell, SE (2004). La persistenza di studi insufficienti nella ricerca psicologica: cause, conseguenze e rimedi. Metodi psicologici , 9 , 2 , pp. 147-163.
  • i tuoi effetti sono piuttosto piccoli (da non confondere con i bassi tassi di risposta), quindi troveremo difficile ottenere un buon potere.
  • Si noti che, sebbene questi suonino tutti abbastanza simili, non sono affatto gli stessi (ad esempio, è molto possibile ottenere un modello significativo senza effetti significativi - discusso qui: Come può essere significativa una regressione ma tutti i predittori non sono- significativo? o effetti significativi ma in cui il modello non è significativo - discusso qui: Significato dei coefficienti nella regressione lineare: test t significativo vs statistica F non significativa ), che verrà illustrato di seguito.

• Per un modo diverso di pensare alle questioni relative al potere, vedi la mia risposta qui: Come segnalare la precisione generale nella stima delle correlazioni in un contesto di giustificazione della dimensione del campione.

Semplice potenza post-hoc per la regressione logistica in R:

Supponiamo che i tassi di risposta postulati rappresentino la vera situazione nel mondo e che tu abbia inviato 10.000 lettere. Qual è il potere di rilevare quegli effetti? (Nota che sono famoso per aver scritto codice "comicamente inefficiente", il seguente è destinato a essere facile da seguire piuttosto che ottimizzato per l'efficienza; in effetti, è piuttosto lento.)

set.seed(1)

repetitions = 1000
N = 10000
n = N/8
var1  = c(   .03,    .03,    .03,    .03,    .06,    .06,    .09,   .09)
var2  = c(     0,      0,      0,      1,      0,      1,      0,     1)
rates = c(0.0025, 0.0025, 0.0025, 0.00395, 0.003, 0.0042, 0.0035, 0.002)

var1    = rep(var1, times=n)
var2    = rep(var2, times=n)
var12   = var1**2
var1x2  = var1 *var2
var12x2 = var12*var2

significant = matrix(nrow=repetitions, ncol=7)

startT = proc.time()[3]
for(i in 1:repetitions){
  responses          = rbinom(n=N, size=1, prob=rates)
  model              = glm(responses~var1+var2+var12+var1x2+var12x2, 
                           family=binomial(link="logit"))
  significant[i,1:5] = (summary(model)$coefficients[2:6,4]<.05)
  significant[i,6]   = sum(significant[i,1:5])
  modelDev           = model$null.deviance-model$deviance
  significant[i,7]   = (1-pchisq(modelDev, 5))<.05
}
endT = proc.time()[3]
endT-startT

sum(significant[,1])/repetitions      # pre-specified effect power for var1
[1] 0.042
sum(significant[,2])/repetitions      # pre-specified effect power for var2
[1] 0.017
sum(significant[,3])/repetitions      # pre-specified effect power for var12
[1] 0.035
sum(significant[,4])/repetitions      # pre-specified effect power for var1X2
[1] 0.019
sum(significant[,5])/repetitions      # pre-specified effect power for var12X2
[1] 0.022
sum(significant[,7])/repetitions      # power for likelihood ratio test of model
[1] 0.168
sum(significant[,6]==5)/repetitions   # all effects power
[1] 0.001
sum(significant[,6]>0)/repetitions    # any effect power
[1] 0.065
sum(significant[,4]&significant[,5])/repetitions   # power for interaction terms
[1] 0.017

Quindi vediamo che 10.000 lettere non raggiungono realmente l'80% di potenza (di alcun tipo) per rilevare questi tassi di risposta. (Non sono sufficientemente sicuro di cosa stia facendo il codice SAS per essere in grado di spiegare la netta discrepanza tra questi approcci, ma questo codice è concettualmente semplice - se lento - e ho passato un po 'di tempo a controllarlo, e penso che questi i risultati sono ragionevoli.)

Potere a priori basato sulla simulazione per la regressione logistica:

$N$$N$$N$$N$

$N$$N$

sum(significant[,1])/repetitions      # pre-specified effect power for var1
[1] 0.115
sum(significant[,2])/repetitions      # pre-specified effect power for var2
[1] 0.091
sum(significant[,3])/repetitions      # pre-specified effect power for var12
[1] 0.059
sum(significant[,4])/repetitions      # pre-specified effect power for var1X2
[1] 0.606
sum(significant[,5])/repetitions      # pre-specified effect power for var12X2
[1] 0.913
sum(significant[,7])/repetitions      # power for likelihood ratio test of model
[1] 1
sum(significant[,6]==5)/repetitions   # all effects power
[1] 0.005
sum(significant[,6]>0)/repetitions    # any effect power
[1] 0.96
sum(significant[,4]&significant[,5])/repetitions   # power for interaction terms
[1] 0.606

$var1^2$significant

$N$

La risposta di @ Gung è ottima per la comprensione. Ecco l'approccio che vorrei usare:

mydat <- data.frame( v1 = rep( c(3,6,9), each=2 ),
    v2 = rep( 0:1, 3 ), 
    resp=c(0.0025, 0.00395, 0.003, 0.0042, 0.0035, 0.002) )

fit0 <- glm( resp ~ poly(v1, 2, raw=TRUE)*v2, data=mydat,
    weight=rep(100000,6), family=binomial)
b0 <- coef(fit0)


simfunc <- function( beta=b0, n=10000 ) {
    w <- sample(1:6, n, replace=TRUE, prob=c(3, rep(1,5)))
    mydat2 <- mydat[w, 1:2]
    eta <- with(mydat2,  cbind( 1, v1, 
                v1^2, v2,
                v1*v2,
                v1^2*v2 ) %*% beta )
    p <- exp(eta)/(1+exp(eta))
    mydat2$resp <- rbinom(n, 1, p)

    fit1 <- glm( resp ~ poly(v1, 2)*v2, data=mydat2,
        family=binomial)
    fit2 <- update(fit1, .~ poly(v1,2) )
    anova(fit1,fit2, test='Chisq')[2,5]
}

out <- replicate(100, simfunc(b0, 10000))
mean( out <= 0.05 )
hist(out)
abline(v=0.05, col='lightgrey')

Questa funzione verifica l'effetto complessivo di v2, i modelli possono essere modificati per esaminare altri tipi di test. Mi piace scriverlo come una funzione in modo che quando voglio testare qualcosa di diverso posso semplicemente cambiare gli argomenti della funzione. Puoi anche aggiungere una barra di avanzamento o utilizzare il pacchetto parallelo per velocizzare le cose.

Qui ho appena eseguito 100 repliche, di solito inizio da quel livello per trovare la dimensione approssimativa del campione, quindi aumento le iterazioni quando mi trovo nel giusto parco di palla (non c'è bisogno di perdere tempo con 10.000 iterazioni quando hai il 20% di potenza).