Probabilmente sto affrontando un problema che è stato probabilmente risolto centinaia di volte prima, ma non sono sicuro di dove trovare la risposta.

Quando si utilizza la regressione logistica, date molte funzioni e si cerca di prevedere un valore categorico binario , sono interessato a selezionare un sottoinsieme delle funzionalità che prevede bene .$x_1,...,x_n$$y$$y$

Esiste una procedura simile al lazo che può essere utilizzata? (Ho visto solo il lazo usato per la regressione lineare.)

Guardare i coefficienti del modello montato è indicativo dell'importanza delle diverse caratteristiche?

Modifica - Chiarimenti dopo aver visto alcune delle risposte:

1. Quando mi riferisco all'entità dei coefficienti adattati, intendo quelli che sono adattati alle caratteristiche normalizzate (media 0 e varianza 1). Altrimenti, come sottolineato da @probabilityislogic, 1000x sembrerebbe meno importante di x.

2. Non mi interessa semplicemente trovare il miglior sottoinsieme k (come offriva @Davide), ma piuttosto valutare l'importanza delle diverse funzionalità l'una rispetto all'altra. Ad esempio, una funzione potrebbe essere "età" e l'altra funzione "età> 30". La loro importanza incrementale potrebbe essere scarsa, ma entrambe potrebbero essere importanti.

La risposta di DWin offre la risposta ma poca intuizione, quindi ho pensato che potesse essere utile fornire qualche spiegazione.

Se hai due classi, stai sostanzialmente cercando di stimare . Questo è tutto ciò che serve e il modello di regressione logistica presuppone che:$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

Quello che penso intendi per l'importanza della funzione è come influenza o in altre parole cosa è .$j$$p$$\frac{\partial p}{\partial x_{ij}}$

Dopo una piccola trasformazione puoi vederlo

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$ .

Una volta calcolato il derivato lo vedrai

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

Ciò dipende chiaramente dal valore di tutte le altre variabili. Tuttavia si può osservare che il SIGN del coefficiente può essere interpretato nel modo desiderato: se è negativo, questa funzione diminuisce la probabilità p.

Ora nella tua procedura di stima stai provando a stimare s supponendo che il tuo modello sia corretto. Con la regolarizzazione si introducono alcuni pregiudizi in queste stime. Per una regressione della cresta e variabili indipendenti è possibile ottenere una soluzione a modulo chiuso:$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$ .

Come puoi vedere, questo può cambiare il segno del tuo coefficiente in modo che anche l'interpretazione si spezzi.

La risposta alla tua ultima domanda è un NO piatto. L'entità dei coefficienti non è in alcun modo una misura di importanza. Il lazo può essere utilizzato per la regressione logistica. Devi studiare l'area in modo più assiduo. I metodi che devi studiare sono quelli che prevedono metodi "penalizzati". Se stai cercando metodi di rilevamento che rivelino predittori "ombreggiati", un termine che può essere definito da qualche parte ma non è di uso generale, allora devi cercare metodi che ispezionino le interazioni e la struttura non lineare all'interno dello spazio predittore e il collegamento dei risultati a quello spazio. C'è un bel po 'di discussione su questi temi e metodi nel testo di Frank Harrell "Regressione Modeling Strategies".

La strategia di selezione a ritroso non riuscirà a fornire risultati validi (sebbene fornisca risultati). Se hai esaminato un caso di 20 predittori casuali per 100 eventi, troverai probabilmente 2 o 3 che verranno selezionati con un processo di selezione all'indietro. La prevalenza della selezione all'indietro nel mondo reale non riflette un attento pensiero statistico ma piuttosto la sua facile disponibilità in SAS e SPSS e la mancanza di raffinatezza della base di utenti di tali prodotti. La base di utenti R ha difficoltà ad accedere a tali metodi e agli utenti che pubblicano richieste nelle mailing list e SO in genere vengono informati dei problemi legati ai metodi di selezione all'indietro (o in avanti).

L'inglese non è la mia lingua madre, quindi potrei non aver capito qual è il tuo problema, ma se hai bisogno di trovare il modello migliore puoi provare a usare una procedura a ritroso (e eventualmente aggiungere interazioni), iniziando con un modello con tutte le covariate. Puoi quindi guardare sia i valori residuals_vs_predicted sia i grafici del diagramma qq per verificare se il modello sta descrivendo bene il tuo fenomeno