Come quantificare l'importanza della variabile relativa nella regressione logistica in termini di p?

Supponiamo che venga utilizzato un modello di regressione logistica per prevedere se un acquirente online acquisterà un prodotto (risultato: acquisto), dopo aver fatto clic su una serie di annunci online (predittori: Ad1, Ad2 e Ad3).

Il risultato è una variabile binaria: 1 (acquistata) o 0 (non purcahsed). I predittori sono anche variabili binarie: 1 (cliccato) o 0 (non cliccato). Quindi tutte le variabili sono sulla stessa scala.

Se i coefficienti risultanti di Ad1, Ad2 e Ad3 sono 0,1, 0,2 e 03, possiamo concludere che Ad3 è più importante di Ad2 e Ad2 è più importante di Ad1. Inoltre, poiché tutte le variabili sono sulla stessa scala, i coefficienti standardizzati e non standardizzati dovrebbero essere uguali e possiamo ulteriormente concludere che Ad2 è due volte più importante di Ad1 in termini di influenza sul livello logit (log-odds).

Ma in pratica ci preoccupiamo di più di come confrontare e interpretare l'importanza relativa delle variabili in termini di livello p (probabilità dell'acquisto), non logit (log-odds).

Quindi la domanda è: esiste un approccio per quantificare l'importanza relativa di queste variabili in termini di p?

Per i modelli lineari è possibile utilizzare il valore assoluto delle statistiche t per ciascun parametro del modello.

Inoltre, puoi usare qualcosa di simile a una foresta casuale e ottenere un elenco molto bello di importanti funzionalità.

Se stai usando R check out ( http://caret.r-forge.r-project.org/varimp.html ), se stai usando Python check out ( http://scikit-learn.org/stable/auto_examples /ensemble/plot_forest_importances.html#example-ensemble-plot-forest-importances-py )

MODIFICARE:

Poiché logit non ha un modo diretto per farlo, è possibile utilizzare una curva ROC per ciascun predittore.

Per la classificazione, l'analisi della curva ROC viene condotta su ciascun predittore. Per due problemi di classe, una serie di cutoff viene applicata ai dati del predittore per prevedere la classe. La sensibilità e la specificità vengono calcolate per ogni cutoff e viene calcolata la curva ROC. La regola trapezoidale viene utilizzata per calcolare l'area sotto la curva ROC. Quest'area viene utilizzata come misura di importanza variabile

Un esempio di come funziona in R è:

library(caret)
mydata <- data.frame(y = c(1,0,0,0,1,1),
                 x1 = c(1,1,0,1,0,0),
                 x2 = c(1,1,1,0,0,1),
                 x3 = c(1,0,1,1,0,0))

fit <- glm(y~x1+x2+x3,data=mydata,family=binomial())
summary(fit)

varImp(fit, scale = FALSE)

Dato che stavi chiedendo in particolare un'interpretazione sulla scala delle probabilità: in una regressione logistica, la probabilità stimata di successo è data da

$\hat{\pi}(\mathbf{x})=\frac{exp(\beta_0+ \mathbf{\beta x})}{1+exp(\beta_0+ \mathbf{\beta x})}$

$\beta_0$$\mathbf{\beta}$$\mathbf{x}$

$\frac{exp(0.1)}{1+exp(0.1)}=0.52$

Una persona che ha fatto clic solo sull'annuncio 3:

$\frac{exp(0.3)}{1+exp(0.3)}=0.57$

Tuttavia, se la persona ha fatto clic sull'annuncio 1 o sull'annuncio 3 ma anche sull'annuncio 2 (se si tratta di uno scenario plasubile), le probabilità diventano

$\frac{exp(0.1+0.2)}{1+exp(0.1+0.2)}=0.57$

$\frac{exp(0.3+0.2)}{1+exp(0.3+0.2)}=0.62$

In questo caso la variazione della probabilità è sia 0,05, ma di solito questa variazione non è la stessa per diverse combinazioni di livelli. (Puoi vederlo facilmente se ad esempio usi lo stesso approccio di cui sopra ma con coefficienti 0,1, 1,5, 0,3.) Pertanto, l'importanza di una variabile sulla scala di probabilità dipende dai livelli osservati delle altre variabili. Ciò può rendere difficile (impossibile?) Elaborare una misura assoluta, quantitativa di importanza variabile sulla scala di probabilità.