Come cambia la somiglianza del coseno dopo una trasformazione lineare?

9

Esiste una relazione matematica tra:

la somiglianza del coseno di due vettori e e $\operatorname{sim}(A, B)$ $A$ $B$
la somiglianza del coseno di e , ridimensionata in modo non uniforme tramite una data matrice ? Qui è una data matrice diagonale con elementi disuguali sulla diagonale. $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

Ho provato a ripassare i calcoli, ma non sono riuscito a raggiungere un collegamento (espressione) semplice / interessante. Mi chiedo se ce n'è uno.

Ad esempio, gli angoli non vengono conservati nel ridimensionamento non uniforme, ma qual è la relazione tra gli angoli originali e quelli dopo il ridimensionamento non uniforme? Cosa si può dire del collegamento tra un insieme di vettori S1 e un altro insieme di vettori S2 - dove S2 si ottiene scalando in modo non uniforme S1?

linear-algebra cosine-similarity

— Turdus merula-
fonte

@whuber, grazie! Sì, M è una data matrice (una matrice di ridimensionamento - quindi una matrice diagonale, senza altre restrizioni). In un certo senso, volevo sapere cosa succede (in termini di somiglianza del coseno per qualsiasi coppia di vettori) con uno spazio vettoriale che subisce un ridimensionamento non lineare.

— turdus-merula,

2

Vale la pena notare che se tutti i fattori di scala sono non negativi (come si suppone naturalmente), allora tutte le matrici simmetriche definite positive possono essere considerate matrici di "ridimensionamento". La relazione che cerchi è ampiamente utilizzata, tra l'altro , nello studio e nella descrizione della distorsione nelle proiezioni delle mappe. Lì, centri di interesse negli angoli massimo e minimo sulla superficie terrestre che sarebbero associati a due direzioni perpendicolari sulla mappa. Esiste una relazione diretta tra questi angoli e i rapporti dei due fattori di scala.

— whuber

8

Poiché è abbastanza generale e il cambiamento nella somiglianza del coseno dipende dal particolare e e dalla loro relazione con , non è possibile alcuna formula definita. Tuttavia, ci sono limiti praticamente calcolabili su quanto può cambiare la somiglianza del coseno . Possono essere trovati estendendo l'angolo tra e dato che la somiglianza del coseno tra e è un valore specificato, diciamo (dove è l'angolo tra e ). La risposta ci dice quanto qualsiasi angolo $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ $B$ $2\phi$ può eventualmente essere piegato dalla trasformazione . $M$

I calcoli minacciano di essere disordinati. Alcune scelte intelligenti di notazione, insieme ad alcune semplificazioni preliminari, riducono lo sforzo. Si scopre che la soluzione in due dimensioni rivela tutto ciò che dobbiamo sapere. Questo è un problema trattabile, che dipende solo da una variabile reale , che viene prontamente risolto usando le tecniche di calcolo. Un semplice argomento geometrico estende questa soluzione a qualsiasi numero di dimensioni . $\theta$ $n$

Preliminari matematici

Per definizione, il coseno dell'angolo tra due vettori e si ottiene normalizzandoli alla lunghezza unitaria e prendendo il loro prodotto. Così, $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

e, scrivendo , il coseno dell'angolo tra le immagini di e sotto la trasformazione è $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

Si noti che nell'analisi conta solo , $\Sigma$ non stessa. Possiamo quindi sfruttare la decomposizione del valore singolare (SVD) di per semplificare il problema. Ricordiamo che ciò esprime come prodotto (da destra a sinistra) di una matrice ortogonale , una matrice diagonale e un'altra matrice ortogonale : $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

In altre parole, esiste una base di vettori privilegiati (le colonne di ) su cui agisce riscalando ogni separatamente dalla voce diagonale di (che chiamerò ) e successivamente applicare una di rotazione (o anti-rotazione) al risultato. Quella rotazione finale non cambierà lunghezze o angoli e quindi non dovrebbe influenzare . Puoi vederlo formalmente con il calcolo $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

Di conseguenza, per studiare possiamo sostituire liberamente con qualsiasi altra matrice che produce gli stessi valori in . Ordinando modo che la dimensione diminuisca (e supponendo che non sia identicamente zero), una buona scelta di è $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

Gli elementi diagonali di sono $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

In particolare, l'effetto di (sia nella sua forma originale o modificata) su tutti gli angoli è completamente determinato dal fatto che $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

Analisi di un caso speciale

Sia . Poiché la modifica delle lunghezze dei vettori non modifica l'angolo tra di essi, possiamo supporre che e siano vettori di unità. Nel piano tutti questi vettori possono essere designati dall'angolo che fanno con , permettendoci di scrivere $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

Perciò

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

(Vedi la figura sotto.)

Applicare è semplice: fissa le prime coordinate di e e moltiplica le loro seconde coordinate per . Pertanto l'angolo da a è $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

Poiché è una funzione continua, questa differenza di angoli è una funzione continua di . In effetti, è differenziabile. Questo ci consente di trovare gli angoli estremi ispezionando gli zeri della derivata . Quella derivata è semplice da calcolare: è un rapporto tra funzioni trigonometriche. Gli zeri possono verificarsi solo tra gli zeri del suo numeratore, quindi non preoccupiamoci di calcolare il denominatore. Otteniamo $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

I casi speciali di , e sono facilmente comprensibili: corrispondono alle situazioni in cui è di rango ridotto (e quindi schiaccia tutti i vettori su una linea); dove è un multiplo della matrice identità; e dove e sono paralleli (da cui l'angolo tra loro non può cambiare, indipendentemente da ). Il caso è escluso dalla condizione . $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

A parte questi casi speciali, gli zeri si verificano solo dove : cioè o . Ciò significa che la linea determinata da bisects l'angolo . Ora sappiamo che i valori estremi dell'angolo tra e devono trovarsi tra i valori di , quindi calcoliamoli: $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

I coseni corrispondenti sono

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

e

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

$M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

Nota che più piccolo diventa , più estremi diventano questi angoli e maggiore è la distorsione. $\lambda_2$

$A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ $\theta=0$ $\theta=\pi/2$

Soluzione per tutte le dimensioni

$M$ $i$ $\lambda_i$ $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

$n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

$A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

conclusioni

$M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

$M$

— whuber
fonte

Questa è una risposta fantastica! Grazie mille per questa discussione dettagliata! Credo che tu abbia un errore di segno in eqn (3) in cui dovresti semplicemente avere un segno meno complessivo.

— LFH,

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

6

Probabilmente sei interessato a:

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

$M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

che ti dà:

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

$\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— Alex R.
fonte

1

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

2

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$