In un certo senso, penso che questa domanda sia senza risposta. Lo dico perché il modo in cui un particolare metodo non supervisionato si esibirà dipenderà in gran parte dal motivo per cui uno sta facendo un apprendimento non supervisionato in primo luogo, cioè il metodo si comporta bene nel contesto del tuo obiettivo finale? Ovviamente questo non è del tutto vero, le persone lavorano su questi problemi e pubblicano risultati che includono una sorta di valutazione. Descriverò alcuni degli approcci che ho familiarità di seguito.
Una buona risorsa (con riferimenti) per il clustering è la pagina della documentazione di sklearn, Clustering Performance Assessment . Questo copre diversi metodi, ma tutti tranne uno, il coefficiente di sagoma, presuppone che siano disponibili etichette di verità di base. Questo metodo è anche menzionato nella domanda Misura di clustering , collegata nei commenti per questa domanda.
Se il tuo metodo di apprendimento senza supervisione è probabilistico, un'altra opzione è quella di valutare alcune misure di probabilità (probabilità logaritmica, perplessità, ecc.) Sui dati trasmessi. La motivazione qui è che se il tuo metodo di apprendimento senza supervisione assegna un'alta probabilità a dati simili che non sono stati usati per adattarsi ai parametri, allora probabilmente ha fatto un buon lavoro nel catturare la distribuzione degli interessi. Un dominio in cui questo tipo di valutazione è comunemente usato è la modellazione del linguaggio.
L'ultima opzione che menzionerò è l'utilizzo di uno studente supervisionato su un'attività ausiliaria correlata. Se il metodo non supervisionato produce variabili latenti, è possibile pensare a queste variabili latenti come a una rappresentazione dell'input. Pertanto, è sensato utilizzare queste variabili latenti come input per un classificatore supervisionato che esegue alcune attività correlate al dominio da cui provengono i dati. L'esecuzione del metodo supervisionato può quindi fungere da surrogato per l'esecuzione dello studente non supervisionato. Questa è essenzialmente l'impostazione che vedi nella maggior parte dei lavori sull'apprendimento della rappresentazione.
Questa descrizione è probabilmente un po 'nebulosa, quindi darò un esempio concreto. Quasi tutto il lavoro sull'apprendimento della rappresentazione delle parole utilizza il seguente approccio per la valutazione:
- Impara le rappresentazioni delle parole usando uno studente non supervisionato.
- Utilizzare le rappresentazioni apprese come input per uno studente supervisionato che esegue alcune attività di PNL come parti del tagging vocale o riconoscimento dell'entità denominata.
- Valuta le prestazioni dello studente non supervisionato in base alla sua capacità di migliorare le prestazioni dello studente supervisionato rispetto a una linea di base usando una rappresentazione standard, come le funzioni di presenza di parole binarie, come input.
Per un esempio di questo approccio in azione, vedi l'articolo Training Restricted Boltzmann Machines on Word Observations di Dahl et al.