Come posso convertire la distanza (euclidea) in punteggio di somiglianza

13

Sto usando $k$ significa raggruppare per raggruppare le voci dei relatori. Quando confronto un'enunciazione con i dati degli altoparlanti raggruppati ottengo una distorsione media (basata sulla distanza euclidea). Questa distanza può essere nell'intervallo di $[0,\infty]$ . Voglio convertire questa distanza in un punteggio di somiglianza $[0,1]$ . Per favore guidami su come posso raggiungere questo obiettivo.

— Maometto
fonte

15

Se rappresenta la distanza euclidea dal punto al punto , $d(p_1,p_2)$ $p_1$ $p_2$

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

è comunemente usato.

— TrynnaDoStat
fonte

Si prega di correggermi se sbaglio, se abbiamo

e

dove ogni

ed

è di dimensione

. Quindi possiamo definire la somiglianza come,

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$

x

$x$

y

$y$

D

$D$

.

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$

— Muhammad,

Comprendo che il segno più 1 nel denominatore serve ad evitare la divisione per errore zero. Ma ho scoperto che il valore più uno influenza in modo sproporzionato i valori di d (p1, p2) che sono maggiori di 1 e alla fine riduce significativamente il punteggio di somiglianza. c'è un altro modo per fare ciò? Forse s = 1-d (p1, p2)

— aamir23

9

Puoi anche usare: doveè la funzione distanza desiderata. $\frac{1}{e^{dist}}$ dist

— Eccezione non gestita
fonte

Potete per favore fornire qualsiasi libro di riferimento / documentazione relativa a questa equazione in cui l'hai trovata? @Dougal

— Justlife l'

@AnimeshKumarPaul Non ho scritto questa risposta, ho solo migliorato la sua formattazione. Ma viene spesso usato come versione di un "kernel RBF generalizzato"; vedi ad esempio qui . Questa domanda riguarda se l'output è un kernel definito positivo; se non ti interessa, comunque, soddisfa almeno una nozione intuitiva di somiglianza che punti più distanti sono meno simili.

— Dougal,

@Justlife: Google per questa "enciclopedia delle distanze" e scegli il risultato con il documento pdf.

— Eccezione non gestita

6

Sembra che tu voglia qualcosa di simile alla somiglianza del coseno, che è esso stesso un punteggio di somiglianza nell'intervallo di unità. In effetti, esiste una relazione diretta tra la distanza euclidea e la somiglianza del coseno!

Osservare che

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$

θ

$\theta$

x

$x$

x^{'}

$x^\prime$ .

When $||x||=||x^\prime||=1,$ we have

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$ and

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

so

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$ in this special case.

From a computational perspective, it may be more efficient to just compute the cosine, rather than Euclidean distance and then perform the transformation.

— Sycorax says Reinstate Monica
fonte

I'm confused by your notation here. Is

‖ x, x^{'} ‖^{2}

$\lVert x, x' \rVert^2$ supposed to be

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ (in which case I think the relation is incorrect, as it doesn't account for

‖ x ‖

$\lVert x \rVert$ or

‖ x^{'} ‖

$\lVert x' \rVert$ ), or something based on

⟨ x, x^{'} ⟩

$\langle x, x' \rangle$ ? The cosine similarity I'm familiar with is simply

x^{T} x^{'} / (‖ x ‖ ‖ x^{'} ‖)

$x^T x' / (\lVert x \rVert \lVert x' \rVert)$ , though Wikipedia says the "angular similarity"

1 - \frac{2}{π} \frac{x^{T} x^{'}}{‖ x ‖ ‖ x^{'} ‖}

$1 - \frac2\pi \frac{x^T x'}{\lVert x \rVert \lVert x' \rVert}$ is also sometimes called that.

— Dougal

@Dougal Blah. Correct. I've revised to make it intelligible.

— Sycorax says Reinstate Monica

Cool. Note though that since the OP said distances are unbounded, it seems like we don't have

‖ x ‖ = 1

$\lVert x \rVert = 1$ . Also, your expansion of

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ is mistaken; it should be

‖ x ‖^{2} + ‖ x^{'} ‖^{2} - 2 x^{T} x^{'}

$\lVert x \rVert^2 + \lVert x' \rVert^2 - 2 x^T x'$ , though the rest of your post handles it correctly. :)

— Dougal

3

How about a Gaussian kernel ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

— wij
fonte

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

— Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

— Brad
fonte