Calcolo degli intervalli di confidenza per una regressione logistica

Sto usando una regressione logistica binomiale per identificare se l'esposizione has_xo has_yinfluisce sulla probabilità che un utente faccia clic su qualcosa. Il mio modello è il seguente:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Questo l'output dal mio modello:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Poiché ogni coefficiente è significativo, usando questo modello sono in grado di dire quale sia il valore di una di queste combinazioni usando il seguente approccio:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Non capisco come posso riferire sullo Std. Errore della previsione.

Devo solo usare $1.96*SE$ ? O devo convertire l' $SE$ usando un approccio descritto qui ?
Se volessi capire l'errore standard per entrambe le variabili come lo considererei?

A differenza di questa domanda , sono interessato a capire quali sono i limiti superiore e inferiore dell'errore in percentuale. Ad esempio, della mia previsione mostra un valore del 37% per True,Trueposso calcolare che questo è per un ? (0,3% scelto per illustrare il mio punto) $+/- 0.3%$ $95\% CI$

— celenius
fonte

Duplicato: stats.stackexchange.com/questions/5304/…

— kjetil b halvorsen

Possibile duplicato di Perché c'è una differenza tra il calcolo manuale di un intervallo di confidenza della regressione logistica del 95% e l'uso della funzione confint () in R?

— kjetil b halvorsen,

@kjetilbhalvorsen sei sicuro che sia un duplicato poiché l'OP sembra voler un intervallo di previsione ma sembra funzionare sulla scala OR piuttosto che sulla scala del log che potrebbe essere la radice del problema?

— mdewey,

Se si desidera valutare la capacità di una regressione logistica, di solito si utilizzano misure diverse rispetto alla previsione + SE. Una misura di valutazione popolare è la ROC-Curve con relativa AUC

— adibender

Potrebbe essere di qualche aiuto? stackoverflow.com/questions/47414842/...

— Xavier Bourret Sicotte

Risposte:

La tua domanda potrebbe venire dal fatto che hai a che fare con Rapporti di probabilità e probabilità che inizialmente confonde. Poiché il modello logistico è una trasformazione non lineare del calcolo gli intervalli di confidenza non sono così semplici. $\beta^Tx$

sfondo

Ricordalo per il modello di regressione logistica

Probabilità di : $(Y = 1)$ $p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$
Probabilità di : $(Y = 1)$ $\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$
Log Probabilità di : $(Y = 1)$ $\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

Considera il caso in cui hai un aumento di una unità nella variabile , ovvero , quindi le nuove probabilità sono $x_1$ $x_1 + 1$

Odds (Y = 1) = e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}} = e^{α + β_{1} x_{1} + β_{1} + β_{2} x_{2}}

$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$

Odds Ratio (OR) sono quindi

\frac{Odds (x_{1} + 1)}{Odds (x_{1})} = \frac{e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}}}{e^{α + β_{1} x_{1} + β_{2} x_{2}}} = e^{β_{1}}

$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$

Log Odds Ratio = $\beta_1$
Rischio relativo o (rapporto di probabilità) = $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Interpretazione dei coefficienti

Come interpreteresti il valore del coefficiente ? Supponendo che tutto il resto rimanga fisso: $\beta_j$

Per ogni aumento di unità in il rapporto log-odds aumenta di . $x_j$ $\beta_j$
Per ogni aumento di unità in il rapporto di probabilità aumenta di . $x_j$ $e^{\beta_j}$
Per ogni aumento di da a il rapporto di probabilità aumenta di $x_j$ $k$ $k + \Delta$ $e^{\beta_j \Delta}$
Se il coefficiente è negativo, un aumento di porta a una riduzione del rapporto di probabilità. $x_j$

Intervalli di confidenza per un singolo parametro $\beta_j$

Devo solo usare ? O devo convertire la SE usando un approccio descritto qui? $1.96∗SE$

Poiché il parametro è stimato utilizzando la stima della probabilità massima, la teoria MLE ci dice che è asintoticamente normale e quindi possiamo usare il grande intervallo di confidenza di Wald per ottenere il solito $\beta_j$

β_{j} \pm z^{*} S E (β_{j})

$\beta_j \pm z^* SE(\beta_j)$

Ciò fornisce un intervallo di confidenza sul rapporto probabilità-log. L'uso della proprietà di invarianza dell'MLE ci consente di esponenziare per ottenere

e^{β_{j} \pm z^{*} S E (β_{j})}

$e^{\beta_j \pm z^* SE(\beta_j)}$

che è un intervallo di confidenza sul rapporto di probabilità. Si noti che questi intervalli sono solo per un singolo parametro.

Se volessi capire l'errore standard per entrambe le variabili come lo considererei?

Se si includono più parametri è possibile utilizzare la procedura Bonferroni, altrimenti per tutti i parametri è possibile utilizzare l'intervallo di confidenza per le stime di probabilità

Procedura Bonferroni per diversi parametri

Se i parametri devono essere stimati con un coefficiente di confidenza familiare di circa , i limiti di confidenza di Bonferroni congiunti sono $g$ $1 - \alpha$

β_{g} \pm z_{(1 - \frac{α}{2 g})} S E (β_{g})

$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$

Intervalli di confidenza per le stime di probabilità

$p$ $Pr(p_{L} \leq p \leq p_{U}) = .95$

Un approccio chiamato trasformazione dell'endpoint procede come segue:

$x^T\beta$
$F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Concretely this means computing $\beta^Tx \pm z^* SE(\beta^Tx)$ and then applying the logit transform to the result to get the lower and upper bounds:

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

The estimated approximate variance of $x^T\beta$ can be calculated using the covariance matrix of the regression coefficients using

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

The advantage of this method is that the bounds cannot be outside the range $(0,1)$

There are several other approaches as well, using the delta method, bootstrapping etc.. which each have their own assumptions, advantages and limits.

Sources and info

My favorite book on this topic is "Applied Linear Statistical Models" by Kutner, Neter, Li, Chapter 14

Otherwise here are a few online sources:

— Xavier Bourret Sicotte
fonte

Much of this is about CI for the coefficients which is a fine thing for the OP to know about but are we sure that is what he needs? You later section seems to me more relevant but perhaps the distinctions may be missed if read too quickly?

— mdewey

Yes you are probably right - but understanding odds, log odds and probabilities for log regression is something I struggled with in the past - I hope this post summarises the topic well enough to such that it might help someone in the future. Perhaps I could answer the question more explicitly by providing a CI but we would need the covariance matrix

— Xavier Bourret Sicotte

Per ottenere l'intervallo di confidenza del 95% della previsione, è possibile calcolare sulla scala di logit e quindi riconvertirli nella scala di probabilità 0-1. Ecco un esempio usando il set di dati titanico.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

IC medio e basso / alto al 95%.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243

E l'output del solo utilizzo type='response', che dà solo la media

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556

— Shawn
fonte

predict(fit, data.frame(Sex='male', Pclass='First'), type='response', se.fit=TRUE)funzionerà.

— Tony416,