Modelli di accatastamento / montaggio con cursore

21

Mi ritrovo spesso ad allenare diversi modelli predittivi usando caretin R. Li addestrerò tutti sulle stesse pieghe di convalida incrociata, usando caret::: createFolds, quindi sceglierò il modello migliore in base all'errore di convalida incrociata.

Tuttavia, la previsione mediana di diversi modelli sovraperforma spesso il miglior modello singolo su un set di test indipendente. Sto pensando di scrivere alcune funzioni per impilare / assemblare i modelli del cursore che sono stati addestrati con le stesse pieghe di convalida incrociata, ad esempio prendendo previsioni mediane da ciascun modello su ogni piega o allenando un "meta-modello".

Naturalmente, ciò potrebbe richiedere un ciclo di convalida incrociata esterno. Qualcuno è a conoscenza di pacchetti esistenti / codice open source per l'inserimento di modelli di cursore (e possibilmente la convalida incrociata di tali insiemi)?

r caret ensemble

— Zach
fonte

19

Sembra che Max Kuhn abbia effettivamente iniziato a lavorare su un pacchetto per l'inserimento di modelli con cursore , ma non ha ancora avuto il tempo di finirlo. Questo e 'esattamente quello che stavo cercando. Spero che il progetto finisca un giorno!

modifica: ho scritto il mio pacchetto per fare questo: caretEnsemble

— Zach
fonte

1

Ottimo lavoro su questo pacchetto!

— mikeycgto

8

Quello che stai cercando si chiama "ensemble modello". Un semplice tutorial introduttivo con codice R è disponibile qui: http://viksalgorithms.blogspot.jp/2012/01/intro-to-ensemble-learning-in-r.html

— thiakx
fonte

3

Non essere pignoli, ma "ensemble" è proprio nel titolo del mio post. Sto specificatamente cercando un pacchetto R per assemblare modelli arbitrari, che non sembra esistere. Grazie per aver pubblicato il codice, comunque. Forse scriverò il mio pacchetto!

— Zach,

1

Non sono sicuro di quello che stai cercando, ma questo potrebbe aiutare: http://www.jstatsoft.org/v28/i05/paper

È come utilizzare più modelli nel cursore. La parte che potrebbe interessarti è la sezione 5 a pag. 13.

— screechOwl
fonte

Quello che sto cercando è un pacchetto che prenderebbe come input un elenco di oggetti di cursore e quindi produrrebbe la media media, media o ponderata delle loro previsioni. Funzionalità più avanzate potrebbero includere l'ottimizzazione dei pesi attraverso la validazione incrociata nidificata.

— Zach,