Somiglianza del coseno rispetto al punto prodotto come metriche di distanza

Sembra che la somiglianza del coseno di due caratteristiche sia solo il loro punto prodotto ridimensionato dal prodotto delle loro magnitudini. Quando la somiglianza del coseno rende una metrica di distanza migliore rispetto al prodotto punto? Vale a dire il prodotto punto e la somiglianza del coseno hanno diversi punti di forza o di debolezza in diverse situazioni?

Pensa geometricamente. La somiglianza del coseno si preoccupa solo della differenza di angolo, mentre il prodotto a punti si preoccupa di angolo e magnitudine. Se normalizzi i tuoi dati per avere la stessa grandezza, i due sono indistinguibili. A volte è desiderabile ignorare la grandezza, quindi la somiglianza del coseno è buona, ma se la magnitudine gioca un ruolo, il prodotto punto sarebbe meglio come misura di somiglianza. Nota che nessuno dei due è una "metrica della distanza".

Hai ragione, la somiglianza del coseno ha molto in comune con il prodotto punto dei vettori. In effetti, è un prodotto a punti, ridimensionato per grandezza. E a causa del ridimensionamento è normalizzato tra 0 e 1. CS è preferibile perché tiene conto della variabilità dei dati e delle frequenze relative delle caratteristiche. D'altro canto, il prodotto a punto semplice è un po 'più "economico" (in termini di complessità e implementazione).

Vorrei aggiungere un'altra dimensione alle risposte fornite sopra. Di solito usiamo la somiglianza del coseno con testo di grandi dimensioni, perché non è raccomandato l'uso della matrice di distanza su paragrafi di dati. E anche se intendi che il tuo cluster sia ampio, tendi ad andare con la somiglianza del coseno in quanto cattura la somiglianza in generale.

Ad esempio, se si hanno testi composti da due o tre parole al massimo, ritengo che l'uso della somiglianza del coseno non raggiunga la precisione raggiunta dalla metrica della distanza.

Vi è un eccellente confronto delle metriche di somiglianza basate sul prodotto interno comuni qui .

In particolare, la somiglianza del coseno è normalizzata in [0,1], a differenza del prodotto punto che può essere qualsiasi numero reale, ma, come dicono tutti gli altri, ciò richiederà di ignorare l'entità dei vettori. Personalmente, penso che sia una buona cosa. Penso alla grandezza come a una struttura interna (all'interno del vettore) e all'angolo tra i vettori come a una struttura esterna (tra il vettore). Sono cose diverse e (secondo me) sono spesso meglio analizzate separatamente. Non riesco a immaginare una situazione in cui preferirei calcolare i prodotti interni piuttosto che calcolare le somiglianze del coseno e poi confrontare le magnitudini in seguito.

$\forall x, ||x||^2 = \langle x,x \rangle = 1$$\phi$$\langle x,y \rangle = \cos \phi$$\phi = \arccos \langle x,y \rangle$

Visivamente, tutti i tuoi dati vivono su una sfera unitaria. L'uso di un prodotto punto come distanza ti darà una distanza cordale, ma se usi questa distanza del coseno, corrisponde alla lunghezza del percorso tra i due punti sulla sfera. Ciò significa che se si desidera una media dei due punti, è necessario prendere il punto intermedio su questo percorso (geodetico) anziché il punto medio ottenuto dalla "media aritmetica / punto prodotto / geometria euclidea" poiché questo punto non vivere sulla sfera (quindi essenzialmente non è lo stesso oggetto)!

Come altri hanno sottolineato, questi non sono "parametri" di distanza, perché non soddisfano i criteri metrici. Pronuncia invece "misura della distanza".

Comunque, cosa stai misurando e perché? Tali informazioni ci aiuteranno a fornire una risposta più utile alla tua situazione.