Come gestire la differenza tra la distribuzione del set di test e il set di allenamento?

Penso che un'ipotesi di base dell'apprendimento automatico o della stima dei parametri sia che i dati invisibili provengano dalla stessa distribuzione dell'insieme di formazione. Tuttavia, in alcuni casi pratici, la distribuzione del set di test sarà quasi diversa dal set di training.

Supponiamo che si tratti di un problema di multi-classificazione su larga scala che tenta di classificare le descrizioni dei prodotti in circa 17.000 classi. Il set di addestramento avrà priori di classe molto distorti, in modo tale che alcune classi potrebbero avere molti esempi di addestramento, ma alcuni potrebbero averne solo alcuni. Supponiamo che ci venga fornito un set di test con etichette di classe sconosciute da un client. Cerchiamo di classificare ogni prodotto nel set di test in una delle 17.000 classi, utilizzando il classificatore addestrato sul set di addestramento. Il set di test avrebbe probabilmente distribuito le classi in modo distorto ma probabilmente molto diverso da quello del set di formazione, poiché potrebbero essere correlati a diverse aree di business. Se le distribuzioni delle due classi sono molto diverse, il classificatore addestrato potrebbe non funzionare bene nel set di test. Ciò sembra particolarmente ovvio con il classificatore Naive Bayes.

Esiste un modo di principio per gestire la differenza tra il set di addestramento e un determinato set di test per i classificatori probabilistici? Ho sentito che "SVM transduttiva" fa qualcosa di simile in SVM. Esistono tecniche simili per apprendere un classificatore che funziona meglio su un determinato set di test? Quindi possiamo riqualificare il classificatore per diversi set di test dati, come è consentito in questo scenario pratico.

Se la differenza sta solo nelle frequenze relative della classe nei set di addestramento e test, allora consiglierei la procedura EM introdotta in questo documento:

Marco Saerens, Patrice Latinne, Christine Decaestecker: adeguare gli output di un classificatore alle nuove probabilità a priori: una semplice procedura. Neural Computation 14 (1): 21-41 (2002) ( www )

L'ho usato da solo e ho trovato che funzionava molto bene (hai bisogno di un classificatore che produca una probabilità di appartenenza alla classe).

Se la distribuzione dei modelli all'interno di ogni classe cambia, allora il problema è noto come "spostamento della covariata" e c'è un libro eccellente di Sugiyama e Kawanabe . Molti dei lavori di questo gruppo sono disponibili online, ma consiglio vivamente di leggere anche il libro se si può ottenere una copia. L'idea di base è di ponderare i dati di allenamento in base alla differenza di densità tra il set di allenamento e il set di test (per i quali non sono richieste etichette). Un modo semplice per ottenere la ponderazione consiste nell'utilizzare la regressione logistica per prevedere se un modello viene tracciato dal set di allenamento o dal set di test. La parte difficile è nella scelta della ponderazione da applicare.

Vedi anche il bel post sul blog di Alex Smola qui .

Ho trovato un eccellente tutorial sull'adattamento del dominio che potrebbe aiutare a spiegarlo in modo più dettagliato: http://sifaka.cs.uiuc.edu/jiang4/domain_adaptation/survey/da_survey.html L'unica soluzione che non è stata menzionata qui è basata su ADABOOST. Ecco il link all'articolo originale: http://ftp.cse.ust.hk/~qyang/Docs/2007/tradaboost.pdf L'idea di base è quella di utilizzare alcuni dei nuovi dati di prova per aggiornare l'apprendimento dai dati del treno Questo articolo è la punta dell'iceburg sull'apprendimento del trasferimento, dove prendi ciò che sai da un compito e lo applichi a un altro.