Supponiamo di aver addestrato diversi modelli sul set di allenamento, scegline uno migliore utilizzando il set di convalida incrociata e misurato le prestazioni sul set di test. Quindi ora ho un ultimo modello migliore. Devo riqualificarli su tutti i dati disponibili o sulla soluzione di spedizione addestrati solo sul set di addestramento? Se quest'ultimo, allora perché?
AGGIORNAMENTO: Come notato da @ P.Windridge, spedire un modello riqualificato significa sostanzialmente spedire un modello senza validazione. Ma possiamo riportare le prestazioni del set di test e successivamente riqualificare il modello su dati completi aspettandoci giustamente che le prestazioni siano migliori, perché utilizziamo il nostro modello migliore e più dati. Quali problemi possono derivare da tale metodologia?