Selezione del modello con regressione logistica Firth

In un piccolo set di dati ( ) con cui sto lavorando, diverse variabili mi danno una previsione / separazione perfetta . Uso quindi la regressione logistica di Firth per affrontare il problema. $n\sim100$

Se seleziono il modello migliore per AIC o BIC , dovrei includere il termine di penalità Firth nella probabilità quando si calcolano questi criteri informativi?

— Stask
fonte

Ti dispiacerebbe spiegare perché è inevitabile, poiché la selezione delle variabili non aiuta con il problema "troppe variabili, troppo piccola dimensione del campione"?

— Frank Harrell,

Questo è tanto brutto.

— Frank Harrell,

Hai mai considerato questo un problema di inferenza bayesiana? La regressione logistica Firth equivale a MAP con jeffreys precedenti. È possibile utilizzare il completamente Laplace approssimazione alla valutazione del verosimiglianze marginali - che è come un BIC regolato (simile a AICC)

— probabilityislogic

@utente, poiché tali variabili di solito prevedono solo una manciata di casi, e questo è irreproducibile: la vera probabilità per quella cella potrebbe essere vicina al 90%, ma con solo due casi in essa, ne otterrai due l'81% delle volte .

— StasK

Link per scaricare l'articolo di K&K (1996) trovato su Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Papadopoulos

Se si desidera giustificare l'uso del BIC: è possibile sostituire la massima verosimiglianza con la massima stima a posteriori (MAP) e il risultante criterio di tipo "BIC" rimane asintoticamente valido (nel limite come la dimensione del campione da ). Come menzionato da @probabilityislogic, la regressione logistica di Firth equivale all'utilizzo di un precedente di Jeffrey (quindi ciò che si ottiene dalla misura della regressione è il MAP). $n \to \infty$

Il BIC è un criterio pseudo-bayesiano che è (approssimativamente) derivato usando un'espansione in serie di Taylor della probabilità marginale intorno alla stima della massima verosimiglianza . Quindi ignora il priore, ma l'effetto di quest'ultimo svanisce quando le informazioni si concentrano sulla probabilità.

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Come osservazione laterale, la regressione di Firth rimuove anche il pregiudizio del primo ordine nelle famiglie esponenziali.

— lbelzile
fonte