Come può una rete neurale artificiale ANN essere utilizzata per il clustering senza supervisione?

Capisco come un artificial neural network (ANN), può essere addestrato in modo supervisionato usando backpropogation per migliorare l'adattamento diminuendo l'errore nelle previsioni. Ho sentito che un ANN può essere utilizzato per l'apprendimento senza supervisione, ma come può essere fatto senza una funzione di costo di qualche tipo per guidare le fasi di ottimizzazione? Con k-mean o l'algoritmo EM esiste una funzione per la quale ogni iterazione cerca di aumentare.

Come possiamo fare il clustering con una ANN e quale meccanismo utilizza per raggruppare i punti dati nella stessa località?

(e quali funzionalità extra vengono aggiunte aggiungendo più livelli?)

— Vass
fonte

Sei interessato all'apprendimento non supervisionato di NN in generale o in particolare al clustering non supervisionato con reti neurali?

— Denis Tarasov,

@DenisTarasov, sono interessato principalmente al clustering non supervisionato con NN, ma non so molto sull'apprendimento NN non supervisionato in generale. Sarebbe bello se una risposta includesse un po 'dell'apprendimento non supervisionato della NN in generale prima di discutere l'applicazione specifica.

— Vass

Self Organizing Map (SOM) è un tipo di rete utilizzata per il clustering.

— Cagdas Ozgenc,

apprendimento non supervisionato in ANN - Estrae le proprietà statistiche dal set di addestramento. - L'apprendimento senza supervisione è più difficile ma è visto come biologicamente plausibile - Non richiede insegnanti.

— yonas,

Risposte:

Le reti neurali sono ampiamente utilizzate nell'apprendimento non supervisionato al fine di apprendere migliori rappresentazioni dei dati di input. Ad esempio, dato un insieme di documenti di testo, NN può imparare una mappatura dal documento al vettore con valori reali in modo tale che i vettori risultanti siano simili per documenti con contenuto simile, vale a dire il mantenimento della distanza. Ciò può essere ottenuto utilizzando, ad esempio, gli auto-codificatori, un modello addestrato per ricostruire il vettore originale da una rappresentazione più piccola (attivazioni di livello nascoste) con errore di ricostruzione (distanza dalla funzione ID) come funzione di costo. Questo processo non fornisce cluster, ma crea rappresentazioni significative che possono essere utilizzate per il clustering. Ad esempio, è possibile eseguire un algoritmo di clustering sulle attivazioni del layer nascosto.

Clustering: esistono diverse architetture NN progettate appositamente per il clustering. Le più conosciute sono probabilmente le mappe auto-organizzate. Una SOM è una NN che ha una serie di neuroni collegati per formare una griglia topologica (di solito rettangolare). Quando un modello viene presentato a una SOM, il neurone con il vettore di peso più vicino viene considerato un vincitore e i suoi pesi vengono adattati al modello, così come i pesi del suo vicinato. In questo modo un SOM trova naturalmente cluster di dati. Un algoritmo in qualche modo correlato sta aumentando il gas neurale (non si limita al numero predefinito di neuroni).

Un altro approccio è la teoria della risonanza adattiva in cui abbiamo due livelli: "campo di confronto" e "campo di riconoscimento". Il campo di riconoscimento determina anche la migliore corrispondenza (neurone) con il vettore trasferito dal campo di confronto e ha anche connessioni inibitorie laterali. I dettagli di implementazione e le equazioni esatte possono essere facilmente trovati cercando su google i nomi di questi modelli, quindi non li inserirò qui.

— Denis Tarasov
fonte

Vuoi guardare in mappe auto-organizzate . Kohonen (che li ha inventati) ha scritto un libro su di loro. Ci sono pacchetti per questo in R ( som , kohonen ) e ci sono implementazioni in altre lingue come MATLAB .

— gung - Ripristina Monica
fonte

puoi entrare in qualche dettaglio su come l'NN può fare questo ed elaborare la teoria? forse anche spiegare l'effetto dell'uso di una NN profonda (DNN)?

— Vass

Temo di avere pochissima esperienza qui, @Vass. Non penso che l'aggiunta di livelli aggiuntivi farà molto, oltre a rallentarlo. Qualcun altro dovrà darti la teoria, volevo solo farti iniziare.

— gung - Ripristina Monica

Uno studente nel nostro laboratorio ha sperimentato il clustering usando SOM. Ci è voluta un'eternità per l'esecuzione ei risultati sono stati molto deludenti rispetto ad altri approcci (nel nostro caso algoritmi di clustering di grafici standard). Sono sempre stato perplesso dal fatto che il dominio target 2D standard (griglia topologica) sembra essere uno spazio altamente arbitrario. Più preoccupante è che è molto semplicistico e essenzialmente ha bisogno di comprimere i dati in uno spazio descritto solo da due variabili.

— Micans,

@micans fornisce alcuni punti positivi, ma i dati non vengono semplicemente compressi in uno spazio descritto solo da due variabili, poiché ogni nodo è anche associato a un prototipo. Inoltre, se l'esecuzione è lenta, potrebbe essere un problema di implementazione. Statisticamente, metodi diversi da SOM dovrebbero ottenere risultati di classificazione migliori. Per quanto riguarda il problema della topologia, il cervello sembra essere organizzato come strati di topologia 2D, ma raggiunge grandi risultati (o almeno così mi piacerebbe pensare).

— Tom Anderson,