Domanda troppo adatta

Considereresti questo eccesso?

overfitting

Risposte:

No, non è un esempio di overfitting! Sarebbe eccessivo se la perdita valida iniziasse ad aumentare mentre la perdita dell'allenamento stava diminuendo.

Modifica: la risposta per la seconda domanda Vale la pena considerare come viene calcolato auc. Abbiamo le probabilità di ogni istanza di appartenere alla classe positiva. Quindi ordiniamo queste probabilità. Se tutti i casi positivi compaiono nella prima parte dell'elenco ordinato e tutti i negativi sono nella seconda, allora auc è 1 (la "prestazione perfetta" secondo l'osservazione auc).

Consideriamo ora il calcolo delle perdite. Ad esempio entropia incrociata binaria. La formula è $loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ dove $y_i$ - vera etichetta, $p(y_i)$ - probabilità che $y_i$ appartiene alla classe positiva. Possiamo prevedere per ogni osservazione negativa che la probabilità è 0.998, quindi la perdita sarà enorme. Ma se le probabilità previste per le osservazioni positive sono 0.999 (superiori a quelle negative), allora in termini di AUC avremo prestazioni perfette.

Ecco perché suppongo che dobbiamo valutare la perdita.

— Lana
fonte

Grazie Lana, anche se la differenza nella perdita tra formazione e validazione non sta indicando un overfitting?

— Nickolas Papanikolaou,

@NickolasPapanikolaou è normale, quando la perdita differisce sul set di training e validazione, perché il modello acquisisce maggiore familiarità con i dati, che ha già visto nel set di training (è la ragione, perché di solito si esegue la suddivisione in test, validazione, treno). Tuttavia, le prestazioni del modello sui dati del test mostrano che quel modello continua ad estrarre alcune informazioni utili, per cui il processo di apprendimento procede ma è più lento di prima.

— Lana,

No, questo non è troppo adatto.

Innanzitutto l'AUC è esattamente la stessa tra treno e set di convalida. Le perdite potrebbero avere un divario, ma poiché la perdita di convalida sta ancora calando (anche se lentamente) sei OK.

— Javier
fonte

Che dire di questa? In tal caso, la perdita di convalida è in aumento, ma l'AUC non segue lo stesso modello, in cui si ritiene che la perdita o le prestazioni?

— Nickolas Papanikolaou
fonte

Ho dimenticato di menzionare che l'AUC sul set di test holdout è 0.928

— Nickolas Papanikolaou,

Quale perdita hai? Qual è la distribuzione delle classi nei treni e nei set di prova?

— Lana,

Ho risposto a questa domanda, modificando la mia prima risposta. In questo caso c'è un eccesso di adattamento e le prestazioni di perdita dovrebbero essere valutate

— Lana,

Quindi, la tua nuova domanda e le mie edizioni sono l'argomento contro il presupposto, fatto da Javier: "Prima di tutto l'AUC è esattamente la stessa tra treno e set di validazione". Non potrebbe essere il motivo principale

— Lana,

Tutti e tre i set (treno, validazione, test) sono completamente bilanciati, ho usato binary_crossentropy. Credo che il problema sia legato all'AUC, poiché se uso l'accuratezza che le curve deviano (segni di eccesso di adattamento), molte grazie per le risposte

— Nickolas Papanikolaou,