Ultimamente ho lavorato con set di dati di grandi dimensioni e ho trovato molti documenti sui metodi di streaming. Per dirne alcuni:
- Follow-the-Regularized Leader e Mirror Descent: Equivalence Teorems and L1 Regularization ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf )
- Apprendimento in streaming: SVM One-Pass ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf )
- Pegasos: Primal stimato Sub-GrAdient SOlver per SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf
- o qui: SVM può eseguire l'apprendimento in streaming un esempio alla volta?
- Streaming di foreste casuali ( http://research.cs.queensu.ca/home/cords2/ideas07.pdf )
Tuttavia, non sono stato in grado di trovare alcuna documentazione su come si confrontano tra loro. Ogni articolo che leggo sembra condurre esperimenti su diversi set di dati.
Conosco sofia-ml, vowpal wabbit, ma sembrano implementare pochissimi metodi, rispetto all'enorme quantità di metodi esistenti!
Gli algoritmi meno comuni non sono abbastanza performanti? Esiste un documento che tenta di esaminare il maggior numero possibile di metodi?
7
In caso contrario, dovresti scriverlo tu stesso :)
—
Chris C
capisci che le persone del mondo accademico devono scrivere articoli / elaborare nuovi algoritmi e cercheranno i set di dati su cui il loro algoritmo funziona meglio. Ti consiglio di assicurarti di capire come funziona una libreria come vowpal-wabbit (cioè tutti i parametri ecc.).
—
seanv507,
In realtà è il contrario! Ho capito che le persone hanno scelto il miglior set di dati e sono generalmente relativamente silenziose su come hanno convalidato in modo incrociato gli algoritmi (sia i loro che i metodi concorrenti). Sto piuttosto cercando una versione in streaming di jmlr.org/papers/volume15/delgado14a/delgado14a.pdf
—
RUser4512
Mi piace molto il documento JMLR che hai collegato. Io stesso quindi non conosco un confronto simile per gli algoritmi di streaming. Probabilmente perché lo streaming è più di nicchia e anche perché mentre è già difficile confrontare i classificatori per i set di dati statici, è ancora più complicato fare un confronto equo per i dati di streaming.
—
stats0007,
Sebbene questi non rispondano specificamente alla tua domanda, due risorse correlate sono: Algoritmi di valutazione che apprendono dai flussi di dati di Gama et al., Che discute le tecniche di valutazione, e MOA (Massive Online Analysis) , un framework open source per il mining di flussi di dati che incorpora la capacità di valutare le prestazioni.
—
user77876