Alla ricerca di una comprensione teorica della regressione logistica Firth

Sto cercando di capire la regressione logistica Firth (metodo di gestione della separazione perfetta / completa o quasi completa nella regressione logistica) in modo da poterlo spiegare ad altri in termini semplificati. Qualcuno ha una spiegazione minuziosa di quale modifica sta effettuando la stima Firth a MLE?

Ho letto, per quanto ho potuto, Firth (1993) e capisco che viene applicata una correzione alla funzione score. Sono confuso sull'origine e sulla giustificazione della correzione e sul ruolo che la funzione di punteggio svolge in MLE.

Scusate se questa è conoscenza rudimentale. La letteratura che ho recensito sembra richiedere una comprensione molto più profonda della MLE di quella che possiedo.

logistic maximum-likelihood separation

— ESmith5988
fonte

La correzione di Firth equivale a specificare il precedente di Jeffrey e cercare la modalità della distribuzione posteriore. All'incirca, aggiunge metà di un'osservazione al set di dati assumendo che i valori reali dei parametri di regressione siano uguali a zero.

Il documento di Firth è un esempio di asintotici di ordine superiore. L'ordine nullo, per così dire, è fornito dalle leggi di grandi numeri: in grandi campioni, dove è il vero valore. Potresti aver appreso che gli MLE sono asintoticamente normali, approssimativamente perché si basano su trasformazioni non lineari di somme di variabili iid (punteggi). Questa è la prima approssimazione dell'ordine: dove è una variabile normale con media zero e varianza (o matrice var-cov) che è l'inverso delle informazioni di Fisher per la singola osservazione. La statistica del test del rapporto di verosimiglianza è quindi asintoticamente $\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ o qualunque altra estensione multivariata di prodotti interni e matrici inverse di covarianza sarebbero.

Gli asintotici di ordine superiore cercano di imparare qualcosa sul prossimo termine , di solito prendendo in giro il prossimo termine . In questo modo, le stime e le statistiche dei test possono incorporare i piccoli bias di esempio dell'ordine di (se vedi l'articolo che dice "abbiamo MLE imparziali", queste persone probabilmente non sanno di cosa stanno parlando). La correzione più nota di questo tipo è la correzione di Bartlett per i test del rapporto di verosimiglianza. Anche la correzione di Firth è di questo ordine: aggiunge una quantità fissa (inizio di p. 30) alla probabilità, e in grandi campioni il contributo relativo di quella quantità scompare al ritmo di sminuito dalle informazioni del campione. $o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— Stask
fonte

Ci scusiamo per la mia mancanza di comprensione, ma non sto seguendo completamente. Quando si dice "Approssimativamente, si aggiunge metà di un'osservazione al set di dati assumendo che i valori reali dei parametri di regressione siano uguali a zero". Perché dovresti assumere che i valori reali dei parametri di regressione siano uguali a zero? Inoltre, come sta aggiungendo mezza osservazione al set di dati?

— ESmith5988

Dal resto della tua spiegazione, sembra che la funzione di probabilità sia regolata da una quantità fissa che riduce la distorsione positiva di piccoli campioni. La quantità fissa è effettivamente una funzione delle informazioni che va a zero all'aumentare della dimensione del campione, giusto?

— ESmith5988

Al tuo primo commento - La correzione del Firth è approssimativamente il valore atteso di un contributo alla probabilità che sarebbe stato aggiunto da un'osservazione che avrebbe un peso effettivo di 1/2. Questa non è affatto la spiegazione corretta, per non parlare dell'intuizione sul perché tu voglia farlo; ti dà solo il sapore. Impostate i coefficienti su zero perché non avete idea migliore di quali saranno i numeri (e i coefficienti zero corrispondono perfettamente a nessun effetto dei regressori, il che è significativo il più delle volte). Al tuo secondo commento - corretto.

— StasK