12

Sto studiando come costruire un intervallo di confidenza al 95% per il rapporto di probabilità dai coefficienti ottenuti nella regressione logistica. Quindi, considerando il modello di regressione logistica,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

tale che per il gruppo di controllo e per il gruppo di casi. $x = 0$ $x = 1$

Ho già letto che il modo più semplice è costruire un IC al 95% per quindi abbiamo applicato la funzione esponenziale, ovvero $\beta$

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Le mie domande sono:

Qual è la ragione teorica che giustifica questa procedura? Conosco e gli stimatori della massima verosimiglianza sono invarianti. Tuttavia, non conosco la connessione tra questi elementi. $\mbox{odds ratio} = \exp\{\beta\}$
Il metodo delta dovrebbe produrre lo stesso intervallo di confidenza al 95% della procedura precedente? Utilizzando il metodo delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Poi,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
In caso contrario, qual è la procedura migliore?

— Márcio Augusto Diniz
fonte

1

Mi piace anche il bootstrap per CI, se ho valori di parametro o dati di allenamento di dimensioni sufficienti.

— EngrStudent - Ripristina Monica il

2

C'è un modo migliore per farlo, vedi stats.stackexchange.com/questions/5304/… per i dettagli

— mdewey,

7

La giustificazione per la procedura è la normalità asintotica dell'MLE per e risulta da argomenti che coinvolgono il Teorema del limite centrale. $\beta$
Il metodo Delta deriva da un'espansione lineare (cioè del primo ordine di Taylor) della funzione attorno all'MLE. Successivamente facciamo appello alla normalità asintotica e all'imparzialità della MLE.

Entrambi asintoticamente danno la stessa risposta. Ma praticamente, preferiresti quello che sembra più strettamente normale. In questo esempio, preferirei il primo perché è probabile che quest'ultimo sia meno simmetrico.

— amir
fonte

3

Un confronto dei metodi degli intervalli di confidenza su un esempio di ISL

Il libro "Introduzione all'apprendimento statistico" di Tibshirani, James, Hastie fornisce un esempio a pagina 267 degli intervalli di confidenza per il grado di regressione logistica polinomiale 4 sui dati salariali . Citando il libro:

Modelliamo l'evento binario usando la regressione logistica con un polinomio di grado 4. La probabilità posteriore adattata di stipendio superiore a $ 250.000 è indicata in blu, insieme a un intervallo di confidenza stimato del 95%. $wage>250$

Di seguito è riportato un breve riepilogo di due metodi per costruire tali intervalli, nonché commenti su come implementarli da zero

Intervalli di trasformazione Wald / Endpoint

Calcola i limiti superiore e inferiore dell'intervallo di confidenza per la combinazione lineare (utilizzando Wald CI) $x^T\beta$
Applicare una trasformazione monotonica agli endpoint per ottenere le probabilità. $F(x^T\beta)$

Poiché è una trasformazione monotonica di $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Concretamente questo significa calcolare e quindi applicare la trasformazione logit al risultato per ottenere i limiti inferiore e superiore: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Calcolo dell'errore standard

$x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

$X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

$x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

$\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

Gli intervalli di confidenza al 95% per la probabilità prevista possono quindi essere tracciati come

Intervalli di confidenza del metodo Delta

$F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

$\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

$f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

$\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Ora possiamo costruire un intervallo di confidenza usando la varianza calcolata sopra.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

In formato vettoriale per il caso multivariato

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

$\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Una conclusione aperta

Uno sguardo ai grafici QQ normali sia per le probabilità che per le probabilità del registro negativo mostra che nessuno dei due è normalmente distribuito. Questo potrebbe spiegare la differenza?

Fonte:

— Xavier Bourret Sicotte
fonte

1

Per la maggior parte degli scopi, il modo più semplice è probabilmente il migliore, come discusso nel contesto di una trasformazione del registro in questa pagina . Pensa alla tua variabile dipendente come analizzata nella scala logit, con test statistici eseguiti e intervalli di confidenza (CI) definiti su quella scala logit. La trasformazione posteriore in odds ratio è semplicemente quella di mettere quei risultati in una scala che un lettore potrebbe cogliere più facilmente. Questo viene fatto anche, ad esempio, nell'analisi della sopravvivenza di Cox, in cui i coefficienti di regressione (e l'IC al 95%) vengono esponenziati per ottenere i rapporti di rischio e il loro IC.

— EdM
fonte

Diversi modi per produrre un intervallo di confidenza per il rapporto di probabilità dalla regressione logistica

Un confronto dei metodi degli intervalli di confidenza su un esempio di ISL

Intervalli di trasformazione Wald / Endpoint

Calcolo dell'errore standard

Intervalli di confidenza del metodo Delta

Una conclusione aperta