Riproduzione della tabella 18.1 da "Elementi di apprendimento statistico"

Tabella 18.1 nella Elementi di apprendimento statistico riassume le prestazioni di numerosi classificatori su un set di dati di 14 classi. Sto confrontando un nuovo algoritmo con il lazo e la rete elastica per tali problemi di classificazione multiclasse.

Utilizzando la glmnetversione 1.5.3 (R 2.13.0) non sono in grado di riprodurre il punto 7. (il multinomio di -penalizzato) nella tabella, in cui il numero di geni utilizzati è 269 e l'errore del test è 13 fuori di 54. I dati utilizzati sono questi $L_1$ set di dati per microarray a 14 tumori . Qualunque cosa io abbia provato, ottengo un modello dalle prestazioni migliori usando in prossimità di 170-180 geni con un errore di prova di 16 su 54.

Si noti che all'inizio della Sezione 18.3, a pagina 654, viene descritta una pre-elaborazione dei dati.

Ho contattato gli autori - finora senza risposta - e chiedo se qualcuno può confermare che c'è un problema nella riproduzione della tabella o fornire una soluzione su come riprodurre la tabella.

classification lasso glmnet

— NRH
fonte

glmnet ha subito un bel po 'di cambiamenti di recente e ha avuto alcuni problemi con i numeri in passato. È forse dovuto a questo? Da quanto tempo contatti gli autori? Vedo che la versione attuale è la 1.7 ed è stata caricata su CRAN solo circa una settimana fa.

— cardinale il

@cardinal, sono passate circa quattro settimane da quando ho fatto gli ultimi esperimenti con glmnet, ma abbiamo anche un'implementazione diversa che produce risultati simili non coerenti con la tabella in ESL. Il tavolo è decisamente più vecchio, quindi suppongo che il tavolo non sia corretto, ma sarebbe bello saperlo con certezza.

— NRH,

Ho brevemente sfogliato quelle sezioni e una domanda che mi è venuta in mente era come è stata fatta la validazione incrociata per selezionare il parametro di restringimento in (18.19) a pagina 661 (terza stampa). Qualche idea? Forse l'ho perso o è descritto altrove? Sembra un luogo probabile in cui i tuoi tentativi di ricreare la loro analisi potrebbero essere sensibili alle differenze di approccio.

— cardinale il

@cardinal, innanzitutto grazie per esserti interessato a questo. È corretto che il CV possa fare la differenza, ma gli autori hanno effettivamente i sottoinsiemi (indici) utilizzati per il CV sulla pagina Web insieme ai dati. Ad ogni modo, CV viene utilizzato solo per selezionare il parametro di penalità ottimale lambda, quindi l'intero set di dati di allenamento viene utilizzato per adattarsi al modello, che viene quindi valutato sui dati di test. Quindi, anche se il passaggio CV seleziona una diversa lambda, quella lambda è sulla strada della soluzione per i dati di allenamento e non riusciamo a trovarla ...

— NRH,

hai controllato il pacchetto R del libro? contiene tutti i set di dati, le funzioni e la maggior parte degli script utilizzati in esso ...

— user603
fonte

bel tentativo. Sì, ho controllato il pacchetto, ma affermare che contiene tutti i dati, le funzioni e la maggior parte degli script è un'esagerazione. Non è completo e non contiene il set di dati in questione.

— NRH,