Come definire il numero di cluster nel clustering K-significa?

Esiste un modo per determinare il numero di cluster ottimale o devo semplicemente provare valori diversi e controllare i tassi di errore per decidere il valore migliore?

clustering unsupervised-learning

— Berkay
fonte

@berkay Come si definisce un tasso di errore per questo metodo non supervisionato? (o intendi la SS?)

— chl

@chl, posso usare la somma degli errori al quadrato per tutti i cluster o la precisione complessiva (in questo caso conosco le etichette della classe.)

— Berkay

@berkay Un semplice algoritmo per trovare i cluster n. è calcolare il WSS medio per 20 serie di k-medie su un numero crescente di cluster (iniziando con 2 e finendo con diciamo 9 o 10) e mantenendo la soluzione che ha WSS minimo su questo set di cluster. Un altro metodo è la statistica gap . Ma se hai già delle istanze etichettate, perché stai provando un metodo senza supervisione?

— chl

@chl grazie, bella domanda, possiamo indovinare i cluster a seconda delle caratteristiche delle intenzioni, sto analizzando le nuove caratteristiche di intrusione, imitando le applicazioni legali.

— Berkay,

Ho risposto a una Q simile con una mezza dozzina di metodi (usando R) qui: stackoverflow.com/a/15376462/1036500

— Ben

Il metodo che uso è usare CCC (Cubic Clustering Criteria). Cerco CCC per aumentare al massimo mentre aumento il numero di cluster di 1, quindi osservo quando il CCC inizia a diminuire. A quel punto prendo il numero di cluster al massimo (locale). Ciò sarebbe simile all'utilizzo di un diagramma ghiaione per selezionare il numero di componenti principali.

Rapporto tecnico SAS A-108 Criterio del cluster cubico ( pdf )

= numero di osservazioni = numero nel cluster = numero di variabili = numero di cluster = matrice di dati = matrice di cluster significa = indicatore di cluster ( se obs . in cluster di , 0 altrimenti) $n$
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ $z_{ik}=1$ $i$ $k$

Supponiamo che ogni variabile abbia media 0:
, $Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

(totale) matrice = = (tra cluster) matrice = = (all'interno di cluster) matrice = = $SS$ $T$ $X’X$
$SS$ $B$ $M’ Z’Z M$
$SS$ $W$ $T-B$

(trace = somma degli elementi diagonali) $R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$

Impila le colonne di in una colonna lunga. Regress su Kronecker prodotto di con matrice di identità Calcola per questa regressione - stesso $X$
$Z$ $p\times p$
$R^2$ $R^2$

L'idea CCC è quello di confrontare la si ottiene per un dato insieme di cluster con l' si otterrebbe da una serie di clustering distribuito uniformemente di punti in spazio tridimensionale. $R^2$ $R^2$ $p$

— Ralph Winters
fonte

Esistono altri criteri oltre a CCC. Dai un'occhiata a Determinare il numero di cluster in un set di dati , per vedere quelli principali.

— Vincent Labatut,