Come comprendere gli svantaggi del clustering gerarchico?

Qualcuno può spiegare i pro ei contro del Clustering Gerarchico?

1. Il Clustering Gerarchico presenta gli stessi inconvenienti di K?
2. Quali sono i vantaggi del clustering gerarchico su K?
3. Quando dovremmo usare K significa su Clustering gerarchico e viceversa?

Le risposte a questo post spiegano molto bene gli svantaggi di k. Come capire gli svantaggi di K-significa

Considerando che -means cerca di ottimizzare un obiettivo globale (varianza dei cluster) e raggiunge un cluster gerarchico agglomerativo ottimale locale, mira a trovare il passo migliore in ogni fusione di cluster (algoritmo avido) che viene fatto esattamente ma risultando in una soluzione potenzialmente non ottimale .$k$

Si dovrebbe usare il clustering gerarchico quando i dati sottostanti hanno una struttura gerarchica (come le correlazioni nei mercati finanziari) e si desidera ripristinare la gerarchia. Puoi ancora applicare -means per farlo, ma potresti finire con partizioni (dalla più grossolana (tutti i punti di dati in un cluster) alla più fine (ogni punto di dati è un cluster)) che non sono nidificati e quindi non una vera gerarchia.$k$

Se si desidera approfondire le proprietà più fini del clustering, potrebbe non essere necessario opporsi al clustering piatto come significa al clustering gerarchico come i collegamenti Single, Average, Complete. Ad esempio, tutti questi raggruppamenti risparmiano spazio, ovvero quando si creano cluster non si distorce lo spazio, mentre un raggruppamento gerarchico come Ward non risparmia spazio, ovvero ad ogni fase di fusione distorce lo spazio metrico.$k$

Per concludere, gli svantaggi degli algoritmi di clustering gerarchico possono essere molto diversi l'uno dall'altro. Alcuni possono condividere proprietà simili a -means: Ward mira a ottimizzare la varianza, ma Single Linkage no. Ma possono anche avere proprietà diverse: Ward dilata nello spazio, mentre Single Linkage risparmia spazio come i mezzi k .$k$$k$

- modifica per specificare le proprietà di conservazione dello spazio e dilatazione dello spazio

Risparmio di spazio: dove D i j è la distanza tra i cluster C i e C j si desidera unire e

Dilatazione dello spazio: ovvero unendo C i e C j l'algoritmo spingerà più lontano dal cluster C k .

scalabilità

significa che è il chiaro vincitore qui. O ( n ⋅ k ⋅ d ⋅ i ) è molto meglio dellascalabilità O ( n 3 d ) (in alcuni casi O ( n 2 d ) ) del clustering gerarchico perché di solito sia k che i e d sono piccoli (purtroppo, i tende a crescere con n , quindi O ( n ) fanon$k$$O(n\cdot k\cdot d\cdot i)$$O(n^3 d)$$O(n^2 d)$$k$$i$$d$$i$$n$$O(n)$di solito tenere). Inoltre, il consumo di memoria è lineare, al contrario di quadratico (di solito, esistono casi speciali lineari).

Flessibilità

-means ha un'applicabilità estremamente limitata. È essenzialmente limitato alle distanze euclidee (incluso l'euclideo negli spazi del kernel e le divergenze di Bregman, ma queste sono piuttosto esotiche e nessuno le usa effettivamente con k -means). Ancora peggio, k -means funziona solo su dati numerici (che in realtà dovrebbero essere continui e densi per adattarsi bene ai k -means).$k$$k$$k$$k$

Il clustering gerarchico è il chiaro vincitore qui. Non richiede nemmeno una distanza: è possibile utilizzare qualsiasi misura, comprese le funzioni di somiglianza semplicemente preferendo valori alti a valori bassi. Dati categorici? sicuramente basta usare ad esempio Jaccard. Stringhe? Prova la distanza Levenshtein. Serie storiche? sicuro. Dati di tipo misto? Distanza di Gower. Esistono milioni di set di dati in cui è possibile utilizzare il clustering gerarchico, ma in cui non è possibile utilizzare -means.$k$

Modello

Nessun vincitore qui. significa un punteggio alto perché produce una grande riduzione dei dati. I centroidi sono di facile comprensione e utilizzo. Il raggruppamento gerarchico, d'altra parte, produce un dendrogramma. Un dendrogramma può anche essere molto molto utile per comprendere il tuo set di dati.$k$

Volevo solo aggiungere un po 'alle altre risposte su come, in un certo senso, vi sia una forte ragione teorica per preferire determinati metodi di raggruppamento gerarchico.

Un presupposto comune nell'analisi dei cluster è che i dati sono campionati da una densità di probabilità sottostante cui non abbiamo accesso. Ma supponiamo di avervi accesso. Come definiremmo i cluster di f ?$f$$f$

Un approccio molto naturale e intuitivo è quello di dire che i cluster di sono le regioni ad alta densità. Ad esempio, considera la densità a due picchi di seguito:$f$

Tracciando una linea attraverso il grafico induciamo un insieme di cluster. Ad esempio, se tracciamo una linea su , otteniamo i due cluster mostrati. Ma se tracciamo la linea su λ 3 , otteniamo un singolo cluster.$\lambda_1$$\lambda_3$

Per renderlo più preciso, supponiamo di avere un arbitrario . Quali sono i cluster di f al livello λ ? Sono i componenti collegati del set di superlivello { x : f ( x ) ≥ λ } .$\lambda > 0$$f$$\lambda$$\{x : f(x) \geq \lambda \}$

Ora invece di scegliere un arbitrario potremmo considerare tutti λ , in modo tale che l'insieme dei cluster "veri" di f siano tutti componenti collegati di qualsiasi insieme di livello superiore di f . La chiave è che questa raccolta di cluster ha una struttura gerarchica .$\lambda$ $\lambda$$f$$f$

Vorrei renderlo più preciso. Supponiamo è supportato su X . Ora sia C 1 un componente collegato di { x : f ( x ) ≥ λ 1 } e C 2 sia un componente collegato di { x : f ( x ) ≥ λ 2 } . In altre parole, C 1 è un cluster a livello λ 1 e C 2 è un cluster a livello λ 2 . Quindi se$f$$\mathcal X$$C_1$$\{ x : f(x) \geq \lambda_1 \}$$C_2$$\{ x : f(x) \geq \lambda_2 \}$$C_1$$\lambda_1$$C_2$$\lambda_2$ , quindi C 1 ⊂ C 2 o C 1 ∩ C 2 = ∅ . Questa relazione di nidificazione vale per qualsiasi coppia di cluster nella nostra raccolta, quindi ciò che abbiamo è in realtà unagerarchiadi cluster. Lo chiamiamo l'albero dei cluster.$\lambda_2 < \lambda_1$$C_1 \subset C_2$$C_1 \cap C_2 = \emptyset$

Quindi ora ho alcuni dati campionati da una densità. Posso raggruppare questi dati in modo da recuperare l'albero del cluster? In particolare, vorremmo che un metodo fosse coerente nel senso che, man mano che raccogliamo sempre più dati, la nostra stima empirica dell'albero del cluster cresce sempre più vicino al vero albero del cluster.

Hartigan è stato il primo a porre tali domande e, nel fare ciò, ha definito con precisione cosa significherebbe per un metodo di clustering gerarchico valutare costantemente l'albero dei cluster. La sua definizione era la seguente: Siano e B veri e propri gruppi disgiunti di f come definito sopra - ovvero, sono componenti collegati di alcuni insiemi di livello superiore. Ora disegna un set di n campioni iid da f e chiama questo set X n . Applichiamo un metodo di clustering gerarchico ai dati X n e otteniamo una raccolta di cluster empirici . Sia A n il più piccolo$A$$B$$f$$n$$f$$X_n$$X_n$$A_n$$A \cap X_n$$B_n$$B \cap X_n$$\Pr(A_n \cap B_n) = \emptyset \to 1$$n \to \infty$$A$$B$

In sostanza, la coerenza di Hartigan afferma che il nostro metodo di raggruppamento dovrebbe separare adeguatamente le regioni ad alta densità. Hartigan ha studiato se il clustering a singolo collegamento potesse essere coerente e ha scoperto che non era coerente in dimensioni> 1. Il problema di trovare un metodo generale e coerente per stimare l'albero del cluster era aperto fino a pochi anni fa, quando Chaudhuri e Dasgupta hanno introdotto collegamento singolo robusto , che è dimostrabilmente coerente. Suggerirei di leggere il loro metodo, poiché è abbastanza elegante, secondo me.

Quindi, per rispondere alle tue domande, c'è un senso in cui il cluster gerarchico è la cosa "giusta" da fare quando si tenta di recuperare la struttura di una densità. Tuttavia, notare le virgolette intorno a "giusto" ... In definitiva i metodi di clustering basati sulla densità tendono a funzionare male in dimensioni elevate a causa della maledizione della dimensionalità, e quindi anche se una definizione di cluster basata su cluster essendo regioni di alta probabilità è abbastanza pulito e intuitivo, spesso viene ignorato a favore di metodi che funzionano meglio nella pratica. Questo non vuol dire che un singolo collegamento robusto non sia pratico, in realtà funziona abbastanza bene su problemi di dimensioni inferiori.

Infine, dirò che la coerenza di Hartigan non è in un certo senso conforme alla nostra intuizione di convergenza. Il problema è che Hartigan consistenza consente un metodo di clustering per notevolmente su segmenti cluster tale che un algoritmo può essere Hartigan clustering coerente producono tuttavia che sono molto diverse dal vero albero di cluster. Quest'anno abbiamo prodotto lavoro su una nozione alternativa di convergenza che affronta questi problemi. Il lavoro è apparso in "Beyond Hartigan Coerency: Merge metrica di distorsione per clustering gerarchico" in COLT 2015.

Un ulteriore vantaggio pratico nel clustering gerarchico è la possibilità di visualizzare i risultati usando il dendrogramma. Se non sai in anticipo quale numero di cluster stai cercando (come spesso accade ...), puoi che la trama del dendrogramma ti aiuti a scegliere$k$senza necessità di creare cluster separati. Il dedrogramma può anche fornire una visione approfondita della struttura dei dati, aiutare a identificare i valori anomali, ecc. Anche il clustering gerarchico è deterministico, mentre k-significa con l'inizializzazione casuale può darti risultati diversi quando eseguito più volte sugli stessi dati. In k-medie, puoi anche scegliere diversi metodi per aggiornare le medie dei cluster (sebbene l'approccio Hartigan-Wong sia di gran lunga il più comune), il che non è un problema con il metodo gerarchico.

EDIT grazie a ttnphns: una caratteristica che il clustering gerarchico condivide con molti altri algoritmi è la necessità di scegliere una misura della distanza. Ciò dipende spesso in larga misura dall'applicazione e dagli obiettivi specifici. Questo potrebbe essere visto come un'ulteriore complicazione (un altro parametro da selezionare ...), ma anche come una risorsa: più possibilità. Al contrario, l'algoritmo classico dei mezzi K usa specificamente la distanza euclidea.