Utilizzo della correlazione come metrica della distanza (per il clustering gerarchico)

Vorrei raggruppare gerarchicamente i miei dati, ma piuttosto che usare la distanza euclidea, vorrei usare la correlazione. Inoltre, poiché il coefficiente di correlazione varia da -1 a 1, con -1 e 1 che indicano "coregolamentazione" nel mio studio, sto trattando sia -1 che 1 come d = 0. Quindi il mio calcolo è $\ d = 1-|r|$

Ho letto in una domanda separata (per quanto riguarda il clustering k-mean), che dovresti convertire r in vero euclideo d usando il teorema del coseno: $d = \sqrt{2(1-r)}$

Qual è il modo più preciso per convertire la correlazione in distanza per il clustering gerarchico?

— Megatron
fonte

Sì, uno dei possibili - e geometricamente vero modo - è l'ultima formula. Ma potresti ignorare il segno di

se ha senso per te, quindi

. Nella maggior parte dei casi è possibile rilasciare

modo sicuro senza influire sui risultati del clustering. La distanza può essere trattata come euclidea quadrata . In questa discussione è stato discusso se le misure di correlazione convertite in distanza sono distanze metriche.

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns,

Inoltre, non è necessario convertire sempre

in una dissomiglianza lineare come la distanza euclidea. Non di rado le persone fanno il clustering basato direttamente su

come sulla somiglianza; è somiglianza angolare

r

$r$

r

$r$

| r |

$|r|$

— ttnphns il

Requisiti per il clustering gerarchico

Il clustering gerarchico può essere utilizzato con analogie arbitrarie e misure di dissomiglianza. (La maggior parte degli strumenti prevede una dissomiglianza, ma consentirà valori negativi: spetta a te garantire se saranno preferiti valori piccoli o grandi.).

Solo i metodi basati su centroidi o varianza (come il metodo di Ward) sono speciali e dovrebbero essere usati con euclidee quadrate. (Per capire perché, ti preghiamo di studiare attentamente questi collegamenti.)

Il collegamento singolo, il collegamento medio, il collegamento completo non sono molto interessati, sarà comunque il minimo / medio / massimo delle differenze di coppia.

Correlazione come misura della distanza

Se preprocedi i tuoi dati ( $n$ osservazioni, caratteristiche $p$ ) in modo tale che ogni caratteristica abbia $\mu=0$ e $\sigma=1$ (che non consente funzioni costanti!), La correlazione si riduce al coseno:

Corr (X, Y) = \frac{Cov (X, Y)}{σ_{X} σ_{Y}} = \frac{E [(X - μ_{X}) (Y - μ_{Y})]}{σ_{X} σ_{Y}} = E [X Y] = \frac{1}{n} ⟨ X, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

Nelle stesse condizioni, la distanza euclidea al quadrato si riduce anche al coseno:

d_{Euclid}^{2} (X, Y) = \sum (X_{i} - Y_{i})^{2} = \sum X_{i}^{2} + \sum Y_{i}^{2} - 2 \sum X_{i} Y_{i} = 2 n - 2 ⟨ X, Y ⟩ = 2 n [1 - Corr (X, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Pertanto, a meno che i dati non siano degenerati, l'utilizzo della correlazione per il clustering gerarchico dovrebbe essere corretto. Basta preelaborarlo come spiegato sopra, quindi utilizzare la distanza euclidea quadrata.

— Anony-Mousse
fonte

Only ward's method is special, and should be used with squared Euclidean. Non solo di Ward. Qualsiasi metodo per calcolare i centroidi o le deviazioni dai centroidi richiederà una distanza euclidea o quadrata euclidea (a seconda dell'implementazione), per motivi di precisione geometrica. Con la perdita di tale e il dovuto avviso, potrebbero essere utilizzati con altre distanze metriche. Questi metodi sono centroide, "mediano", di Ward, varianza (da non confondere con Ward!) E altri.

— ttnphns

Grazie, l'ho reso più chiaro. Non ero a conoscenza di queste variazioni, pensavo solo a singolo / medio / completo / reparto.

— Anony-Mousse

⟨, ⟩

$\langle, \rangle$

d i m

$dim$