Come valutare il potere predittivo di un insieme di predittori categorici di un risultato binario? Calcolare le probabilità o la regressione logistica?

Sto cercando di determinare se le probabilità semplici funzioneranno per il mio problema o se sarà meglio usare (e conoscere) metodi più sofisticati come la regressione logistica.

La variabile di risposta in questo problema è una risposta binaria (0, 1). Ho un numero di variabili predittive che sono tutte categoriche e non ordinate. Sto cercando di determinare quali combinazioni delle variabili predittive producono la proporzione più alta di 1. Ho bisogno della regressione logistica? Come sarebbe un vantaggio calcolare solo le proporzioni nel mio set di campioni per ogni combinazione dei predittori categorici?

La regressione logistica, fino all'imprecisione numerica, darà esattamente gli stessi adattamenti delle percentuali tabulate. Pertanto, se le variabili indipendenti sono oggetti fattorefactor1 , ecc., E i risultati dipendenti (0 e 1) lo sono x, è possibile ottenere gli effetti con un'espressione come

aggregate(x, list(factor1, <etc>), FUN=mean)

Confronta questo con

glm(x ~ factor1 * <etc>, family=binomial(link="logit"))

A titolo di esempio, generiamo alcuni dati casuali:

set.seed(17)
n <- 1000
x <- sample(c(0,1), n, replace=TRUE)
factor1 <- as.factor(floor(2*runif(n)))
factor2 <- as.factor(floor(3*runif(n)))
factor3 <- as.factor(floor(4*runif(n)))

Il sommario è ottenuto con

aggregate.results <- aggregate(x, list(factor1, factor2, factor3), FUN=mean)
aggregate.results

Il suo output include

   Group.1 Group.2 Group.3         x
1        0       0       0 0.5128205
2        1       0       0 0.4210526
3        0       1       0 0.5454545
4        1       1       0 0.6071429
5        0       2       0 0.4736842
6        1       2       0 0.5000000
...
24       1       2       3 0.5227273

Per riferimento futuro, la stima per i fattori ai livelli (1,2,0) nella riga 6 dell'output è 0,5.

La regressione logistica rinuncia ai suoi coefficienti in questo modo:

model <- glm(x ~ factor1 * factor2 * factor3, family=binomial(link="logit"))
b <- model$coefficients

Per usarli, abbiamo bisogno della funzione logistica:

logistic <- function(x) 1 / (1 + exp(-x))

Per ottenere, ad esempio, la stima per i fattori ai livelli (1,2,0), calcolare

logistic (b["(Intercept)"] + b["factor11"] + b["factor22"] + b["factor11:factor22"])

(Notare come tutte le interazioni devono essere incluse nel modello e tutti i coefficienti associati devono essere applicati per ottenere una stima corretta.) L'output è

(Intercept) 
        0.5

d'accordo con i risultati di aggregate. (L'intestazione "(Intercetta)" nell'output è una traccia dell'input ed effettivamente priva di significato per questo calcolo.)

Le stesse informazioni in ancora un'altra forma appaiono nell'output ditable . Ad esempio, l'output (lungo) di

table(x, factor1, factor2, factor3)

include questo pannello:

, , factor2 = 2, factor3 = 0

   factor1
x    0  1
  0 20 21
  1 18 21

factor1$21/(21+21) = 0.5$x$1$aggregateglm

Infine, una combinazione di fattori che producono la proporzione più elevata nel set di dati viene convenientemente ottenuta dall'output di aggregate:

> aggregate.results[which.max(aggregate.results$x),]
  Group.1 Group.2 Group.3         x
4       1       1       0 0.6071429

Per una rapida occhiata alla proporzione di risposte binarie all'interno di ciascuna categoria e / o subordinata a più categorie, i grafici possono essere utili. In particolare, per visualizzare simultaneamente proporzioni condizionate da molte variabili categoriali indipendenti, suggerirei diagrammi a mosaico .

Di seguito è riportato un esempio tratto da un post sul blog, Comprensione dei grafici basati sull'area: grafici a mosaico dalla grafica statistica e altro blog. In questo esempio viene visualizzata la percentuale di sopravvissuti sul Titanic in blu, a seconda della classe del passeggero. È possibile valutare simultaneamente la percentuale di sopravvissuti, pur apprezzando il numero totale di passeggeri all'interno di ciascuno dei sottogruppi (informazioni utili di sicuro, soprattutto quando alcuni sottogruppi sono scarsi in numero e ci aspetteremmo variazioni più casuali).

_{(fonte: theusrus.de )}

Si possono quindi subordinare i successivi diagrammi a mosaico a più variabili indipendenti categoriali. L'esempio seguente dello stesso post di blog in un breve sommario visivo dimostra che tutti i bambini passeggeri in prima e seconda classe sono sopravvissuti, mentre in terza classe i bambini non hanno fatto altrettanto. Mostra anche chiaramente che le donne adulte avevano un tasso di sopravvivenza molto più elevato rispetto ai maschi all'interno di ogni classe, sebbene la percentuale di donne sopravvissute tra le classi diminuisse sensibilmente dalla prima alla seconda alla terza classe (e quindi fosse di nuovo relativamente alta per l'equipaggio, sebbene di nuovo nota che non esistono molte donne membri dell'equipaggio, dato quanto è stretta la barra).

_{(fonte: theusrus.de )}

È incredibile quante informazioni vengano visualizzate, si tratta di proporzioni in quattro dimensioni (classe, adulto / bambino, sesso e proporzione di sopravvissuti)!

Sono d'accordo se sei interessato alla previsione o alla spiegazione più causale in generale, vorrai passare a una modellazione più formale. I diagrammi grafici possono essere indizi visivi molto rapidi anche se sulla natura dei dati e possono fornire altre intuizioni spesso perse quando si valuta semplicemente i modelli di regressione (specialmente quando si considerano le interazioni tra le diverse variabili categoriche).

A seconda delle tue esigenze, potresti scoprire che il partizionamento ricorsivo fornisce un metodo di facile interpretazione per prevedere una variabile di risultato. Per un'introduzione R a questi metodi, vedere la pagina del modello basata sull'albero di Quick-R . In genere favorisco l' ctree()implementazione nel pacchetto `party di R in quanto non ci si deve preoccupare della potatura e produce automaticamente una grafica carina.

Questo rientra nella categoria di algoritmi di selezione delle caratteristiche suggeriti in una risposta precedente e generalmente fornisce previsioni buone se non migliori della regressione logistica.

$20^5$

Se hai meno dati, vuoi imparare meno parametri. È possibile ridurre il numero di parametri ipotizzando, ad esempio, che le configurazioni dei singoli predittori abbiano effetti coerenti sulla variabile di risposta.

Se ritieni che i tuoi predittori siano indipendenti l'uno dall'altro, la regressione logistica è l'algoritmo unico che fa la cosa giusta. (Anche se non sono indipendenti, può comunque fare abbastanza bene.)

In sintesi, la regressione logistica presuppone l'influenza indipendente dei predittori, che riduce il numero di parametri del modello e produce un modello facile da imparare.

Dovresti guardare gli algoritmi di selezione delle funzionalità. Uno che è adatto per il tuo caso (classificazione binaria, variabili categoriche) è il metodo "minima ridondanza massima pertinenza" (mRMR). Puoi provarlo rapidamente online su http://penglab.janelia.org/proj/mRMR/

Lavoro nel campo del credit scoring, dove quello che viene presentato come uno strano caso è la norma.

Usiamo la regressione logistica e convertiamo le variabili sia categoriche che continue in pesi di evidenza (WOE), che vengono quindi utilizzati come predittori nella regressione. Viene dedicato molto tempo al raggruppamento delle variabili categoriali e al discretizzazione (binning / classificazione) delle variabili continue.

Il peso dell'evidenza è un semplice calcolo. È il registro delle probabilità per la classe, meno il registro delle probabilità per la popolazione:
WOE = ln (Buono (Classe) / Cattivo (Classe)) - ln (Buono (TUTTO) / Cattivo (TUTTO)) Questo è il metodologia di trasformazione standard per quasi tutti i modelli di valutazione del credito costruiti utilizzando la regressione logistica. Puoi usare gli stessi numeri in un approccio a tratti.

Il bello è che saprai sempre se i coefficienti assegnati a ogni WOE hanno un senso. I coefficienti negativi sono contrari ai modelli all'interno dei dati e di solito risultano dalla multicollinearità; e coefficienti superiori a 1,0 indicano sovracompensazione. La maggior parte dei coefficienti uscirà da qualche parte tra zero e uno.