Selezione del modello nell'apprendimento offline o online


11

Ultimamente ho cercato di saperne di più sull'apprendimento online (è assolutamente affascinante!), E un tema su cui non sono stato in grado di capire bene è come pensare alla selezione dei modelli in contesti offline e online. In particolare, supponiamo ci alleniamo un classificatore non in linea, sulla base di un insieme di dati fissa . Stimiamo le sue caratteristiche prestazionali attraverso la validazione incrociata, diciamo, e selezioniamo il miglior classificatore in questo modo.SD

Questo è ciò a cui ho pensato: come, quindi, facciamo l'applicazione a un'impostazione online? Possiamo supporre che la miglioreSS trovate offline funzionino bene anche come classificatore online? Ha senso raccogliere alcuni dati per addestrare , quindi prendere lo stesso classificatore S e "metterlo in funzione" in un'impostazione online con gli stessi parametri trovati su D , o potrebbe essere un altro approccio migliore? Quali sono le avvertenze in questi casi? Quali sono i risultati chiave qui? E così via.SSD

Ad ogni modo, ora che è là fuori, immagino che quello che sto cercando siano alcuni riferimenti o risorse che mi aiuteranno (e, si spera, altri, che hanno pensato a questo genere di cose!) A fare la transizione dal pensare esclusivamente in termini offline, e sviluppare la struttura mentale per pensare alla questione della selezione del modello e di queste domande in modo più coerente man mano che la mia lettura avanza.


Hai avuto qualche vantaggio utile o hai qualche suggerimento da dare ora? Grazie!
user1953384

Ti suggerisco di guardare l'articolo di Francesco " arxiv.org/pdf/1406.3816v1.pdf " in cui esegue insieme la selezione e l'ottimizzazione del modello in un colpo solo.
chandresh,

Se riesci ad aggirare il pay-wall, questo può essere un ottimo riferimento: cognet.mit.edu/journal/10.1162/089976601750265045 ?
discipulus

Risposte:


1

Ovviamente, in un contesto di streaming non è possibile dividere i dati in treni e set di test per eseguire la convalida incrociata. Usare solo le metriche calcolate sul set di treni iniziale suona ancora peggio, dato che supponi che i tuoi dati cambino e il tuo modello si adatterà alle modifiche, ecco perché stai usando la modalità di apprendimento online in primo luogo.

kk+1

Alla fine, in qualche modo è media (solitamente media aritmetica, ma è possibile utilizzare anche qualcosa come il livellamento esponenziale) le metriche di errore per ottenere la stima della precisione complessiva.

inserisci qui la descrizione dell'immagine

In uno scenario online ciò significherebbe che inizi dal punto 1 e test sul punto 2, il prossimo ri-allenamento sul punto 2, per testare il punto 3 ecc.

Si noti che tale metodologia di convalida incrociata consente di tenere conto della natura mutevole delle prestazioni dei modelli. Ovviamente, poiché il tuo modello si adatta ai dati e i dati potrebbero cambiare, dovrai monitorare regolarmente le metriche di errore: altrimenti non differirebbe molto dall'uso di treni e set di test di dimensioni fisse.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.