Metriche delle prestazioni per valutare l'apprendimento non supervisionato


49

Per quanto riguarda l'apprendimento non supervisionato (come il clustering), ci sono metriche per valutare le prestazioni?


possibile duplicato della misura
steffen

4
Penso che questa domanda sia più generale di quella, quindi voto per lasciarla aperta.
Peter Flom - Ripristina Monica

Ho avuto la stessa domanda che hai, e ho alcuni riferimenti (ancora non ancora completamente letti) rilevanti: un'indagine sulla misura di validità interna per la convalida del cluster L.Jegatha Deborah, R.Baskaran, A.Kannan e tecniche di misurazione della validità del cluster Ferenc Kovács, Csaba Legány, Attila Babos
kasterma

Risposte:


44

In un certo senso, penso che questa domanda sia senza risposta. Lo dico perché il modo in cui un particolare metodo non supervisionato si esibirà dipenderà in gran parte dal motivo per cui uno sta facendo un apprendimento non supervisionato in primo luogo, cioè il metodo si comporta bene nel contesto del tuo obiettivo finale? Ovviamente questo non è del tutto vero, le persone lavorano su questi problemi e pubblicano risultati che includono una sorta di valutazione. Descriverò alcuni degli approcci che ho familiarità di seguito.

Una buona risorsa (con riferimenti) per il clustering è la pagina della documentazione di sklearn, Clustering Performance Assessment . Questo copre diversi metodi, ma tutti tranne uno, il coefficiente di sagoma, presuppone che siano disponibili etichette di verità di base. Questo metodo è anche menzionato nella domanda Misura di clustering , collegata nei commenti per questa domanda.

Se il tuo metodo di apprendimento senza supervisione è probabilistico, un'altra opzione è quella di valutare alcune misure di probabilità (probabilità logaritmica, perplessità, ecc.) Sui dati trasmessi. La motivazione qui è che se il tuo metodo di apprendimento senza supervisione assegna un'alta probabilità a dati simili che non sono stati usati per adattarsi ai parametri, allora probabilmente ha fatto un buon lavoro nel catturare la distribuzione degli interessi. Un dominio in cui questo tipo di valutazione è comunemente usato è la modellazione del linguaggio.

L'ultima opzione che menzionerò è l'utilizzo di uno studente supervisionato su un'attività ausiliaria correlata. Se il metodo non supervisionato produce variabili latenti, è possibile pensare a queste variabili latenti come a una rappresentazione dell'input. Pertanto, è sensato utilizzare queste variabili latenti come input per un classificatore supervisionato che esegue alcune attività correlate al dominio da cui provengono i dati. L'esecuzione del metodo supervisionato può quindi fungere da surrogato per l'esecuzione dello studente non supervisionato. Questa è essenzialmente l'impostazione che vedi nella maggior parte dei lavori sull'apprendimento della rappresentazione.

Questa descrizione è probabilmente un po 'nebulosa, quindi darò un esempio concreto. Quasi tutto il lavoro sull'apprendimento della rappresentazione delle parole utilizza il seguente approccio per la valutazione:

  1. Impara le rappresentazioni delle parole usando uno studente non supervisionato.
  2. Utilizzare le rappresentazioni apprese come input per uno studente supervisionato che esegue alcune attività di PNL come parti del tagging vocale o riconoscimento dell'entità denominata.
  3. Valuta le prestazioni dello studente non supervisionato in base alla sua capacità di migliorare le prestazioni dello studente supervisionato rispetto a una linea di base usando una rappresentazione standard, come le funzioni di presenza di parole binarie, come input.

Per un esempio di questo approccio in azione, vedi l'articolo Training Restricted Boltzmann Machines on Word Observations di Dahl et al.


11
+1 "Il modo in cui un particolare metodo non supervisionato si esibirà dipenderà in gran parte dal motivo per cui uno sta facendo un apprendimento non supervisionato in primo luogo " praticamente lo riassume. Non cercare un numero magico che puoi in qualche modo usare per giustificare un determinato risultato senza interpretarlo effettivamente .
Marc Claesen,

1
Vorrei anche aggiungere che l'uso di un approccio supervisionato come proxy per il funzionamento di un approccio non supervisionato non richiede la scoperta di nuove funzionalità. Ad esempio, il clustering non apprende nuove funzionalità, tuttavia il clustering viene spesso utilizzato per migliorare l'accuratezza della previsione di uno studente supervisionato, con l'ulteriore vantaggio di spiegare perché potrebbe essere così. Ad esempio, il clustering k-mean può produrre k previsioni che sono state entrambe migliorate sfruttando la struttura scoperta e la compressione dal clustering. Vedi ttic.uchicago.edu/~shubhendu/Papers/clustering_bagging.pdf
Cybernetic
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.