Sto eseguendo una regressione logistica a rete elastica su un set di dati sanitari utilizzando il glmnetpacchetto in R selezionando i valori lambda su una griglia di $\alpha$ da 0 a 1. Il mio codice abbreviato è di seguito:

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

che genera l'errore con convalida incrociata media per ogni valore di alfa da $0.0$ a $1.0$ con un incremento di $0.1$ :

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Sulla base di ciò che ho letto in letteratura, la scelta ottimale di $\alpha$ è dove l'errore cv è minimizzato. Ma ci sono molte variazioni negli errori nell'intervallo di alfa. Sto vedendo diversi minimi locali, con un errore minimo globale di 0.1942612per alpha=0.8.

È sicuro andare con alpha=0.8? Oppure, data la variazione, dovrei rieseguire cv.glmnetcon più pieghe di convalida incrociata (ad es. $20$ anziché $10$ ) o forse un numero maggiore di incrementi $\alpha$ tra alpha=0.0e 1.0per ottenere un quadro chiaro del percorso di errore cv?

Chiarire cosa si intende per $\alpha$ e parametri della rete elastica

Terminologia e parametri diversi sono usati da pacchetti diversi, ma il significato è generalmente lo stesso:

Il pacchetto R Glmnet utilizza la seguente definizione

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn usa

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Ci sono parametrizzazioni alternative utilizzando $a$ e $b$ come pure ..

Per evitare confusione ho intenzione di chiamare

• $\lambda$ il parametro dell'intensità della penalità
• L 1$L_1 \text{ratio}$ rapporto trapenalità$L_1$ e$L_2$ , compreso tra 0 (cresta) e 1 (lazo)

Visualizzazione dell'impatto dei parametri

Consideriamo un insieme di dati simulati dove $y$ è costituito da una curva sinusoidale rumoroso e $X$ è una caratteristica bidimensionale rappresentati da $X_1 = x$ e $X_2 = x^2$ . A causa della correlazione tra $X_1$ e $X_2$ la funzione di costo è una valle stretta.

La grafica seguente illustra il percorso della soluzione della regressione elasticnet con due diversi parametri del rapporto $L_1$ , in funzione di $\lambda$ il parametro di resistenza.

• Per entrambe le simulazioni: quando $\lambda = 0$ la soluzione è la soluzione OLS in basso a destra, con la relativa funzione di costo a forma di valle.
• All'aumentare di $\lambda$ , inizia la regolarizzazione e la soluzione tende a $(0,0)$
• La differenza principale tra le due simulazioni è il parametro del rapporto $L_1$ .
• LHS : per un rapporto $L_1$ ridotto, la funzione di costo regolarizzato assomiglia molto alla regressione di Ridge con contorni arrotondati.
• RHS : per un grande rapporto $L_1$ , la funzione di costo assomiglia molto alla regressione del Lazo con i tipici contorni a forma di diamante.
• Per il rapporto $L_1$ intermedio (non mostrato) la funzione di costo è un mix dei due

Comprensione dell'effetto dei parametri

ElasticNet è stata introdotta per contrastare alcune delle limitazioni del Lazo che sono:

• Se ci sono più variabili $p$ rispetto ai punti dati $n$ , $p>n$ , il lazo seleziona al massimo $n$ variabili.
• Lazo non riesce a eseguire la selezione raggruppata, soprattutto in presenza di variabili correlate. Tenderà a selezionare una variabile da un gruppo e ignorare le altre

Combinando un $L_1$ e quadratica $L_2$ penalità si ottengono i vantaggi di entrambi:

• $L_1$ genera un modello rado
• $L_2$ rimuove la limitazione del numero di variabili selezionate, incoraggia il raggruppamento e stabilizza ilpercorso di regolarizzazione di$L_1$ .

Puoi vederlo visivamente sul diagramma sopra, le singolarità ai vertici incoraggiano la scarsità , mentre i bordi convessi rigidi incoraggiano il raggruppamento .

Ecco una visualizzazione tratta da Hastie (l'inventore di ElasticNet)

Ulteriori letture

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Vorrei aggiungere alcune osservazioni molto pratiche nonostante l'età della domanda. Dato che non sono un utente R, non posso lasciare parlare il codice, ma dovrebbe essere comunque comprensibile.

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Un vantaggio del ricampionamento è che puoi ispezionare la sequenza dei punteggi dei test, che qui sono i punteggi del cv. Dovresti sempre non solo guardare la media ma anche la deviazione standard (non è distribuita normalmente, ma ti comporti come se). Di solito si visualizza questo dire come 65,5% (± 2,57%) per la precisione. In questo modo è possibile stabilire se le "piccole deviazioni" sono più probabili per caso o strutturalmente. Meglio sarebbe anche ispezionare le sequenze complete . Se c'è sempre una piega per qualche motivo, potresti voler ripensare il modo in cui stai facendo la tua divisione (suggerisce anche un disegno sperimentale difettoso: hai mescolato?). In scikit-impara i GridSearchCVdettagli dei negozi sulle scadenze del fold in cv_results_( vedi qui ).

3. $\alpha$$L_1$$\alpha$$L_2$