Clustering con somiglianza del coseno

Ho un ampio set di dati e una somiglianza del coseno tra loro. Vorrei raggrupparli usando la somiglianza del coseno che mette insieme oggetti simili senza dover specificare in anticipo il numero di cluster che mi aspetto.

Ho letto la documentazione sklearn di DBSCAN e Affinity Propagation, dove entrambi richiedono una matrice di distanza (non matrice di somiglianza del coseno).

Davvero, sto solo cercando un algoritmo che non richiede a) una metrica di distanza eb) un numero predefinito di cluster .

Qualcuno sa di un algoritmo che lo farebbe?

Innanzitutto, ogni algoritmo di clustering utilizza una sorta di metrica della distanza. Il che è davvero importante, perché ogni metrica ha le sue proprietà ed è adatta a diversi tipi di problemi.

Hai detto di avere una somiglianza del coseno tra i tuoi record, quindi questa è in realtà una matrice di distanza. È possibile utilizzare questa matrice come input in alcuni algoritmi di clustering.

Ora, suggerirei di iniziare con il clustering gerarchico: non richiede un numero definito di cluster e puoi inserire dati e selezionare una distanza o inserire una matrice di distanza (dove hai calcolato la distanza in qualche modo).

Si noti che il clustering gerarchico è costoso da calcolare, quindi se si dispone di molti dati, è possibile iniziare solo con un campione.

DBSCAN può essere banalmente implementato con una misura di somiglianza anziché con una distanza. Devi solo cambiare <= epsilon in a> = epsilon.

HAC funziona anche bene con le somiglianze (almeno single-link, complete-link, UPGMA, WPGMA - non usare Ward), se si scambia "min" e "max" (si desidera unire con la massima somiglianza piuttosto che minima distanza).

Se sei pigro, puoi anche trasformare la tua somiglianza in una distanza. Se hai un limite fisso, spesso lo farà dist = max-sim.

Userei il clustering gerarchico di sklearn

from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from scipy.cluster import  hierarchy

#Vectorizing
X = CountVectorizer().fit_transform(docs)
X = TfidfTransformer().fit_transform(X)
#Clustering
X = X.todense()
threshold = 0.1
Z = hierarchy.linkage(X,"average", metric="cosine")
C = hierarchy.fcluster(Z, threshold, criterion="distance")

Cè il clustering dei documenti docs.

Puoi utilizzare altre metriche anziché cosinee utilizzare una soglia diversa da0.1

Penso che il pacchetto clustMixType possa darti risultati / approfondimenti migliori.

Utilizzando questo pacchetto è possibile utilizzare direttamente la combinazione di dati categorici e numerici, non è necessario alcun tipo di codifica a caldo.

Devi solo inserire i dati e questi si separano automaticamente in dati categorici e numerici, se trovi problemi al momento della segregazione puoi usare funzioni come as.factor(to convert to a categorical)e as.numeric(to convert to a Numeric field).

Puoi calcolare in Lambda(mean Distance value)anticipo e inserire come input per l'algoritmo.

Se non si conosce il numero ottimale di cluster, è possibile utilizzare WSS(within Sum of Squares), plot(elbow chart)per decidere il numero ottimale di cluster.

Tutti i metodi di clustering utilizzano una metrica di distanza di qualche tipo. E ricorda che la distanza è essenzialmente una misura di dissomiglianza. Quindi, se normalizzi la tua somiglianza tra 0 e 1, la distanza è semplicemente 1-somiglianza

Per quanto riguarda gli algoritmi che non richiedono un numero di cluster da specificare, esistono ovviamente tecniche di clustering gerarchico, che essenzialmente costruiscono un albero come una struttura che puoi "tagliare" ovunque tu voglia (puoi usare alcune metriche di perfomance per farlo automaticamente )

X-medie è una versione di K-medie che prova un certo numero di K e sceglie quella che massimizza alcune funzioni di valutazione.

Lo spostamento medio inoltre "trova" un numero naturale di cluster, ma è sensibile ad altri parametri come ad esempio la banda con.