Come si confronta la potenza di una regressione logistica e un test t?

Il potere di una regressione logistica e un test t equivalgono? In tal caso, dovrebbero essere "equivalenti di densità dei dati" con cui intendo che lo stesso numero di osservazioni sottostanti produce la stessa potenza dato un alfa fisso di 0,05. Considera due casi:

1. [Il test t parametrico]: vengono eseguiti 30 disegni da un'osservazione binomiale e vengono mediati i valori risultanti. Questo viene fatto 30 volte per il gruppo A (che ha un Pr binomiale di .70 di occorrenza) e 30 volte per il gruppo B (che ha un Pr binomiale di .75 di occorrenza). Ciò produce 30 medie per gruppo che rappresentano un riepilogo di 1.800 estrazioni da una distribuzione binomiale. Viene eseguito un test t da 58df per confrontare i mezzi.
2. [La regressione logistica]: viene eseguita una regressione logistica con una pendenza codificata fittizia che rappresenta l'appartenenza al gruppo e ciascuna delle 1.800 estrazioni.

La mia domanda ha due parti:

1. Dato un insieme alfa di 0,05, il potere di queste metodologie sarà lo stesso o diverso? Perché? Come posso provarlo?
2. La risposta alla domanda 1 è sensibile alle dimensioni del campione nel test t, alla dimensione del campione di ciascun gruppo nel test t, alle probabilità binomiali sottostanti o ad altri fattori? In tal caso, come posso sapere (senza simulazione) che il potere è effettivamente diverso e che tipo di cambiamenti produrrà che tipo di cambiamenti nel potere? In alternativa, fornire un codice R elaborato che risolva il problema utilizzando la simulazione.

Se ho calcolato correttamente, la regressione logistica asintoticamente ha la stessa potenza del test t. Per vedere questo, annota la sua probabilità logaritmica e calcola le aspettative del suo Hessian al suo massimo globale (le sue stime negative della matrice varianza-covarianza della soluzione ML). Non preoccuparti della solita parametrizzazione logistica: è più semplice parametrizzarla con le due probabilità in questione. I dettagli dipenderanno esattamente dal modo in cui testerai il significato di un coefficiente di regressione logistica (esistono diversi metodi).

Il fatto che questi test abbiano poteri simili non dovrebbe essere troppo sorprendente, perché la teoria del chi quadro per le stime ML si basa su una normale approssimazione alla probabilità logaritmica e il test t si basa su una normale approssimazione alle distribuzioni di proporzioni. Il nocciolo della questione è che entrambi i metodi fanno le stesse stime delle due proporzioni ed entrambe le stime hanno gli stessi errori standard.

---

Un'analisi reale potrebbe essere più convincente. Adottiamo una terminologia generale per i valori in un determinato gruppo (A o B):

• è la probabilità di un 1.$p$
• è la dimensione di ogni serie di pareggi.$n$
• è il numero di serie di pareggi.$m$
• è la quantità di dati.$N = m n$
• (uguale a 0 o 1 ) è il valore della j esima risultato nel i esima serie di estrazioni.$k_{ij}$$0$$1$$j^\text{th}$$i^\text{th}$
• è il numero totale di quelli nel i esima serie di estrazioni.$k_i$$i^\text{th}$
• è il numero totale di quelli.$k$

La regressione logistica è essenzialmente lo stimatore ML di . Il suo logaritmo è dato da$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

I suoi derivati ​​rispetto al parametro sono$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

Fissando il primo a zero rendimenti ML stima p = k / N e collegare quello nel reciproco della seconda espressione restituisce la varianza p ( 1 - p ) / N , che è il quadrato della errore standard.${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

La statistica t sarà ottenuta dagli stimatori in base ai dati raggruppati per serie di pareggi; vale a dire, come la differenza dei mezzi (uno dal gruppo A e l'altro dal gruppo B) divisa per l'errore standard di quella differenza, che si ottiene dalle deviazioni standard dei mezzi. Diamo un'occhiata alla media e alla deviazione standard per un dato gruppo, quindi. L'uguale medi , che è identico al ML stimatore p . La deviazione standard in questione è la deviazione standard dei mezzi di disegno; cioè, è la deviazione standard dell'insieme di k i / n . Ecco il nocciolo della questione, quindi esploriamo alcune possibilità.$k/N$$\hat{p}$$k_i/n$

1. Supponiamo che i dati non sono raggruppate in richiama affatto: cioè, ed m = N . Il k i sono i mezzi di tiraggio. Il loro campione di varianza uguale a N / ( N - 1 ) volte p ( 1 - p ) . Da ciò ne consegue che l'errore standard è identico all'errore standard ML a parte un fattore di $n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ , che è essenzialmente1quandoN=1800. Pertanto - a parte questa piccola differenza - tutti i test basati sulla regressione logistica saranno gli stessi di un test t e raggiungeremo essenzialmente la stessa potenza.$\sqrt{N/(N-1)}$$1$$N = 1800$

2. Quando i dati sono raggruppati, il (vero) varianza della è uguale a p ( 1 - p ) / n perché le statistiche k i rappresentano la somma dei n Bernoulli ( p variabili), ciascuno con varianza p ( 1 - p ) . Pertanto l' errore standard previsto della media di m di questi valori è la radice quadrata di p ( 1 - p ) / n / m $k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$ , proprio come prima.$p(1-p)/n/m = p(1-p)/N$

Il numero 2 indica che la potenza del test non deve variare in modo apprezzabile con la ripartizione dei sorteggi (cioè con come e n sono soggetti a m n = N ), a parte forse un effetto abbastanza piccolo dalla regolazione nel campione varianza (a meno che tu non sia stato così sciocco da usare pochissime serie di pareggi all'interno di ciascun gruppo).$m$$n$$m n = N$

Simulazioni limitate per confrontare con p = 0,74 (con 10.000 iterazioni ciascuna) che coinvolgono m = 900 , n = 1 (essenzialmente regressione logistica); m = n = 30 ; e m = 2 , n = 450 (massimizzando la regolazione della varianza del campione) lo dimostrano: la potenza (a α = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$, unilaterale) nei primi due casi è 0,59 mentre nel terzo, dove il fattore di aggiustamento apporta un cambiamento sostanziale (ora ci sono solo due gradi di libertà anziché 1798 o 58), scende a 0,36. Un altro test che confronta con p = 0,52 fornisce potenze rispettivamente di 0,22, 0,21 e 0,15: ancora una volta, osserviamo solo una leggera caduta dal non raggruppamento in pareggi (= regressione logistica) al raggruppamento in 30 gruppi e un sostanziale calo a soli due gruppi.$p = 0.50$$p = 0.52$

La morale di questa analisi è:

1. Non si perde molto quando si partizionano i valori di dati in un gran numero m di gruppi relativamente piccoli di "disegna".$N$$m$
2. $m$$n$
3. $N$

Ecco il codice in R che illustra la simulazione della risposta di Whuber . I feedback su come migliorare il mio codice R sono più che benvenuti.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter