Arresto anticipato sulla perdita di convalida o sulla precisione?

Attualmente sto addestrando una rete neurale e non riesco a decidere quale utilizzare per implementare i miei criteri di arresto anticipato: perdita di convalida o metriche come accuratezza / f1score / auc / qualunque cosa calcolata sul set di convalida.

Nella mia ricerca, ho trovato articoli a difesa di entrambi i punti di vista. Keras sembra inadempiere alla perdita di convalida, ma ho anche trovato risposte convincenti per l'approccio opposto (ad esempio qui ).

Qualcuno ha indicazioni su quando utilizzare preferibilmente la perdita di convalida e quando utilizzare una metrica specifica?

TLDR; Monitora la perdita anziché l'accuratezza

Risponderò alla mia domanda poiché ritengo che le risposte ricevute non abbiano raggiunto il punto e qualcuno potrebbe avere lo stesso problema un giorno.

In primo luogo, vorrei chiarire rapidamente che l'utilizzo dell'arresto anticipato è perfettamente normale durante l'allenamento delle reti neurali (consultare le sezioni pertinenti del libro Deep Learning di Goodfellow et al, la maggior parte dei documenti DL e la documentazione per il callback EarlyStopping di keras).

Ora, per quanto riguarda la quantità da monitorare: preferisce la perdita alla precisione. Perché? La perdita quantifica la certezza del modello su una previsione (fondamentalmente con un valore vicino a 1 nella classe giusta e vicino a 0 nelle altre classi). L'accuratezza spiega semplicemente il numero di previsioni corrette. Allo stesso modo, tutte le metriche che utilizzano previsioni rigide anziché probabilità hanno lo stesso problema.

Ovviamente, qualunque sia la metrica che sceglierai, deve essere calcolata su un set di validazione e non su un set di addestramento (altrimenti, in primo luogo, ti manca completamente il punto di usare EarlyStopping)

Secondo me, questo è soggettivo e specifico del problema. Dovresti usare qualunque sia il fattore più importante nella tua mente come metrica guida, in quanto ciò potrebbe prendere le tue decisioni su come modificare il modello meglio focalizzato.

$L_1$

Ad esempio, se riferirai un punteggio di F1 nel tuo rapporto / al tuo capo ecc. (E supponendo che sia quello a cui tengono davvero), allora usare quella metrica potrebbe avere più senso. Il punteggio F1, ad esempio, tiene conto della precisione e del richiamo , ovvero descrive la relazione tra due più metriche a grana fine .

Mettendo insieme queste cose, i punteggi di calcolo diversi dalla perdita normale possono essere utili per la panoramica e per vedere come viene ottimizzata la metrica finale nel corso delle iterazioni di addestramento. Quella relazione potrebbe forse darti una visione più profonda del problema,

Di solito è meglio provare diverse opzioni, tuttavia, poiché l'ottimizzazione per la perdita di convalida può consentire all'allenamento di durare più a lungo, il che alla fine può anche produrre un punteggio F1 superiore . Precisione e richiamo potrebbero oscillare attorno ad alcuni minimi locali, producendo un punteggio F1 quasi statico, quindi smetteresti di allenarti. Se stavi ottimizzando per la perdita pura, potresti aver registrato abbastanza fluttuazioni nella perdita per permetterti di allenarti più a lungo.

Attualmente sto addestrando una rete neurale e non riesco a decidere quale utilizzare per implementare i miei criteri di arresto anticipato: perdita di convalida o metriche come accuratezza / f1score / auc / qualunque cosa calcolata sul set di convalida.

Se stai allenando una rete profonda, ti consiglio vivamente di non utilizzare la fermata anticipata. Nell'apprendimento profondo, non è molto consuetudinario. Invece, puoi utilizzare altre tecniche come abbandonare per generalizzare bene. Se insisti su questo, la scelta del criterio dipende dal tuo compito. Se si dispone di dati non bilanciati, è necessario utilizzare il F1punteggio e valutarlo sui dati di convalida incrociata. Se disponi di dati bilanciati, prova ad utilizzare l'accuratezza dei dati di convalida incrociata. Altre tecniche dipendono fortemente dal tuo compito.

Ti incoraggio vivamente a trovare un modello che si adatti molto bene ai tuoi dati e ad impiegare l'abbandono successivo. Questa è la cosa più comune che le persone usano per i modelli profondi.