Spiegazione dal basso verso l'alto della distanza di Mahalanobis?

Sto studiando il riconoscimento dei modelli e le statistiche e quasi ogni libro che apro sull'argomento mi imbatto nel concetto di distanza di Mahalanobis . I libri forniscono una sorta di spiegazioni intuitive, ma ancora non abbastanza buone per me per capire davvero cosa sta succedendo. Se qualcuno mi chiedesse "Qual è la distanza di Mahalanobis?" Potrei solo rispondere: "È questa cosa carina, che misura la distanza di qualche tipo" :)

Le definizioni di solito contengono anche autovettori ed autovalori, che ho un po 'di difficoltà a collegarmi alla distanza di Mahalanobis. Comprendo la definizione di autovettori ed autovalori, ma in che modo sono correlati alla distanza di Mahalanobis? Ha qualcosa a che fare con il cambio della base in Linear Algebra ecc.?

Ho anche letto queste precedenti domande sull'argomento:

• Qual è la distanza di Mahalanobis e come viene utilizzata nel riconoscimento dei pattern?

• Spiegazioni intuitive per la funzione di distribuzione gaussiana e la distanza mahalanobis (Math.SE)

Ho anche letto questa spiegazione .

Le risposte sono buone e belle foto, ma ancora non mi davvero farlo ... Ho un'idea ma è ancora al buio. Qualcuno può dare una spiegazione "Come lo spiegheresti a tua nonna" in modo da poter finalmente concludere tutto e non chiedermi mai più che diamine è una distanza di Mahalanobis? :) Da dove viene, cosa, perché?

AGGIORNARE:

Ecco qualcosa che aiuta a capire la formula di Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

Ecco un diagramma a dispersione di alcuni dati multivariati (in due dimensioni):

Cosa possiamo farne quando gli assi vengono lasciati fuori?

Introdurre le coordinate suggerite dai dati stessi.

L' origine sarà al centroide dei punti (il punto delle loro medie). Il primo asse di coordinate (blu nella figura successiva) si estenderà lungo la "colonna vertebrale" dei punti, che (per definizione) è qualsiasi direzione in cui la varianza è maggiore. Il secondo asse di coordinate (rosso nella figura) si estenderà perpendicolarmente al primo. (In più di due dimensioni, sarà scelto in quella direzione perpendicolare in cui la varianza è il più grande possibile, e così via.)

Abbiamo bisogno di una scala . La deviazione standard lungo ciascun asse farà bene a stabilire le unità lungo gli assi. Ricorda la regola 68-95-99.7: circa due terzi (68%) dei punti dovrebbero trovarsi all'interno di un'unità dell'origine (lungo l'asse); circa il 95% dovrebbe trovarsi entro due unità. Ciò semplifica il bulbo oculare delle unità corrette. Per riferimento, questa figura include il cerchio unitario in queste unità:

Non sembra proprio un cerchio, vero? Questo perché questa immagine è distorta (come evidenziato dalle diverse distanze tra i numeri sui due assi). Ridisegniamolo con gli assi nei loro orientamenti corretti - da sinistra a destra e dal basso verso l'alto - e con un rapporto di aspetto dell'unità in modo che un'unità in senso orizzontale sia realmente uguale a un'unità in senso verticale:

Misuri la distanza di Mahalanobis in questa immagine piuttosto che nell'originale.

Cos'è successo qua? Lasciamo che i dati ci dicano come costruire un sistema di coordinate per effettuare misurazioni nel grafico a dispersione. Questo è tutto. Sebbene avessimo alcune scelte da fare lungo la strada (potremmo sempre invertire uno o entrambi gli assi; e in rare situazioni le direzioni lungo le "spine" - le direzioni principali - non sono uniche), non cambiano le distanze nella trama finale.

---

Commenti tecnici

(Non per la nonna, che probabilmente ha iniziato a perdere interesse non appena i numeri sono riapparsi sui grafici, ma per rispondere alle restanti domande che sono state poste.)

• I vettori unitari lungo i nuovi assi sono gli autovettori (della matrice di covarianza o del suo inverso).

• Abbiamo notato che la distorsione dell'ellisse per formare un cerchio divide la distanza lungo ciascun autovettore per la deviazione standard: la radice quadrata della covarianza. Lasciando basamento per la funzione di covarianza, il nuovo (Mahalanobis) distanza tra due punti ed è la distanza da a diviso per la radice quadrata di . Le operazioni algebriche corrispondenti, pensando ora di in termini di rappresentazione come matrice e ed in termini di rappresentazioni come vettori, sono scritti . Questo funziona$C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$indipendentemente da quale base viene utilizzata per rappresentare vettori e matrici. In particolare, questa è la formula corretta per la distanza di Mahalanobis nelle coordinate originali.

• Gli importi con cui gli assi vengono espansi nell'ultimo passaggio sono gli ( autovalori quadrati) degli autovalori della matrice di covarianza inversa. Equivalentemente, gli assi sono ridotti dagli autovalori (radici degli) della matrice di covarianza. Pertanto, maggiore è la dispersione, maggiore è la riduzione necessaria per convertire quell'ellisse in un cerchio.

• Sebbene questa procedura funzioni sempre con qualsiasi set di dati, sembra così piacevole (la classica nuvola a forma di pallone da calcio) per i dati che sono approssimativamente multivariati normali. In altri casi, il punto delle medie potrebbe non essere una buona rappresentazione del centro dei dati o le "spine" (tendenze generali nei dati) non saranno identificate accuratamente usando la varianza come misura della diffusione.

• Lo spostamento dell'origine delle coordinate, la rotazione e l'espansione degli assi formano collettivamente una trasformazione affine. A parte quello spostamento iniziale, si tratta di un cambiamento di base da quello originale (usando i vettori di unità che puntano nelle direzioni delle coordinate positive) a quello nuovo (usando una scelta di autovettori di unità).

• Vi è una forte connessione con Principal Components Analysis (PCA) . Questo da solo fa molto per spiegare le domande "da dove proviene" e "perché" - se non sei già stato convinto dall'eleganza e dall'utilità di lasciare che i dati determinino le coordinate che usi per descriverli e misurarne differenze.

• Per le distribuzioni Normali multivariate (dove possiamo eseguire la stessa costruzione usando le proprietà della densità di probabilità invece delle proprietà analoghe della nuvola di punti), la distanza di Mahalanobis (alla nuova origine) appare al posto della " " nell'espressione che caratterizza la densità di probabilità della distribuzione normale standard. Pertanto, nelle nuove coordinate, una distribuzione normale multivariata sembra normale normale$x$$\exp(-\frac{1}{2} x^2)$quando proiettato su qualsiasi linea attraverso l'origine. In particolare, è normale normale in ciascuna delle nuove coordinate. Da questo punto di vista, l'unico senso sostanziale in cui le distribuzioni Normali multivariate differiscono tra loro è in termini di quante dimensioni usano. (Si noti che questo numero di dimensioni può essere, e talvolta è, inferiore al numero nominale di dimensioni.)

Mia nonna cucina. Anche il tuo. Cucinare è un modo delizioso per insegnare le statistiche.

I biscotti Habanero di zucca sono fantastici! Pensa a quanto possono essere meravigliosi cannella e zenzero nelle prelibatezze natalizie, quindi renditi conto di quanto sono caldi da soli.

Gli ingredienti sono:

• peperoni habanero (10, seminati e tritati finemente)
• zucchero (1,5 tazze)
• burro (1 tazza)
• estratto di vaniglia (1 cucchiaino)
• uova (2 medie)
• farina (2,75 tazze)
• bicarbonato di sodio (1 cucchiaino)
• sale (1 cucchiaino)

Immagina che i tuoi assi delle coordinate per il tuo dominio siano i volumi degli ingredienti. Zucchero. Farina. Sale. Bicarbonato di sodio. La variazione lungo quelle direzioni, a parità di altre condizioni, non ha quasi l'impatto sulla qualità del sapore come variazione nel conteggio dei peperoni habanero. Una variazione del 10% nella farina o nel burro lo renderà meno eccezionale, ma non killer. L'aggiunta di una piccola quantità in più di habanero ti farà cadere su una scogliera di sapori dal dessert avvincente al concorso del dolore a base di testosterone.

Mahalanobis non è tanto una distanza nei "volumi degli ingredienti" quanto una distanza dal "miglior gusto". Gli ingredienti veramente "potenti", molto sensibili alle variazioni, sono quelli che devi controllare con più attenzione.

Se pensi a una distribuzione gaussiana rispetto alla distribuzione normale standard , qual è la differenza? Centro e scala in base alla tendenza centrale (media) e alla tendenza alla variazione (deviazione standard). Uno è la trasformazione delle coordinate dell'altro. Mahalanobis è quella trasformazione. Ti mostra che aspetto ha il mondo se la tua distribuzione di interessi è stata ri-lanciata come una normale norma invece che una gaussiana.

Come punto di partenza, vedrei la distanza di Mahalanobis come adatto deformazione della solita distanza euclidea tra vettori ed in . L'ulteriore pezzo di informazioni qui è che ed sono in realtà casuali vettori, vale a dire 2 diverse realizzazioni di un vettore di variabili casuali, che si trovano sullo sfondo della nostra discussione. La domanda che Mahalanobis cerca di affrontare è la seguente:$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

"come posso misurare la 'diversità' tra ed , sapendo che sono realizzazione della stessa variabile casuale multivariata?" $x$$y$

Chiaramente la dissomiglianza di ogni realizzazione con se stessa dovrebbe essere uguale a 0; inoltre, la dissomiglianza dovrebbe essere una funzione simmetrica delle realizzazioni e dovrebbe riflettere l'esistenza di un processo casuale in background. Quest'ultimo aspetto viene preso in considerazione introducendo la matrice di covarianza della variabile casuale multivariata.$x$$C$

Raccogliendo le idee di cui sopra arriviamo in modo abbastanza naturale

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

Se i componenti della variabile casuale multivariata non sono correlati, ad esempio (abbiamo "normalizzato" gli per avere ), allora la distanza di Mahalanobis è la distanza euclidea tra ed . In presenza di correlazioni non banali, la matrice di correlazione (stimata) "deforma" la distanza euclidea.$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Consideriamo il caso di due variabili. Vedendo questa immagine del normale bivariato (grazie @whuber), non puoi semplicemente affermare che AB è più grande di AC. C'è una covarianza positiva; le due variabili sono correlate tra loro.

Puoi applicare semplici misure euclidee (linee rette come AB e AC) solo se le variabili lo sono

1. indipendente
2. hanno varianze pari a 1.

In sostanza, la misura della distanza di Mahalanobis fa quanto segue: trasforma le variabili in variabili non correlate con varianze pari a 1, quindi calcola la semplice distanza euclidea.

Proverò a spiegarti il ​​più semplicemente possibile:

La distanza di Mahalanobis misura la distanza di un punto x da una distribuzione di dati. La distribuzione dei dati è caratterizzata da una media e dalla matrice di covarianza, quindi è ipotizzata come gaussiana multivariata.

Viene utilizzato nel riconoscimento dei pattern come misura di somiglianza tra il pattern (distribuzione dei dati dell'esempio di addestramento di una classe) e l'esempio di test. La matrice di covarianza dà la forma di come sono distribuiti i dati nello spazio delle caratteristiche.

La figura indica tre diverse classi e la linea rossa indica la stessa distanza Mahalanobis per ogni classe. Tutti i punti che si trovano sulla linea rossa hanno la stessa distanza dalla media della classe, perché viene utilizzata la matrice di covarianza.

La caratteristica chiave è l'uso della covarianza come fattore di normalizzazione.

Vorrei aggiungere alcune informazioni tecniche all'ottima risposta di Whuber. Questa informazione potrebbe non interessare la nonna, ma forse suo nipote potrebbe trovarla utile. Quella che segue è una spiegazione dal basso verso l'alto dell'algebra lineare pertinente.

La distanza di Mahalanobis è definita come , dove è una stima della matrice di covarianza per alcuni dati; questo implica che è simmetrico. Se le colonne utilizzate per stimare non sono linearmente dipendenti, è definito positivo. Le matrici simmetriche sono diagonali e i loro autovalori e autovettori sono reali. Le matrici PD hanno autovalori che sono tutti positivi. Gli autovettori possono essere scelti per avere unità di lunghezza e sono ortogonali (cioè ortogonali) in modo da poter scrivere e . Inserendolo nella definizione della distanza,$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$ . Chiaramente i prodotti tra parentesi quadre sono trasposti e l'effetto della moltiplicazione per sta ruotando il vettore in una base ortogonale. Infine, , che è diagonale e formato capovolgendo ogni elemento sulla diagonale, quindi prendendo la radice quadrata, sta riscalando ogni elemento di ciascun vettore. In effetti, è precisamente la deviazione standard inversa di ogni caratteristica nello spazio ortogonale (cioè$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$una matrice di precisione e poiché i dati sono in una base ortogonale, la matrice è diagonale). L'effetto è quello di trasformare ciò che Whuber chiama un'ellisse ruotata in un cerchio "appiattendo" i suoi assi. Chiaramente viene misurato in unità quadrate, quindi prendere la radice quadrata restituisce la distanza in unità originali.$z^Tz$

Potrei essere un po 'in ritardo per rispondere a questa domanda. Questo documento qui è un buon inizio per comprendere la distanza di Mahalanobis. Forniscono un esempio completo con valori numerici. Quello che mi piace è la rappresentazione geometrica del problema.

Solo per aggiungere alle eccellenti spiegazioni sopra, la distanza di Mahalanobis sorge naturalmente nella regressione lineare (multivariata). Questa è una semplice conseguenza di alcune delle connessioni tra la distanza di Mahalanobis e la distribuzione gaussiana discusse nelle altre risposte, ma penso che valga la pena spiegarle comunque.

Supponiamo di avere alcuni dati , con e . Supponiamo che esista un vettore di parametri e una matrice di parametri tale che , dove sono iid -dimensionale vettori casuali gaussiani con media e covarianza (e sono indipendenti dal ). Quindi dato è gaussiano con media$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$ e covarianza .$C$

Ne consegue che la probabilità logaritmica negativa di dato (in funzione di ) è data da Stiamo prendendo la covarianza come costante, quindi dove è la distanza di Mahalanobis tra$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$ .

Per indipendenza, la probabilità di data è dato dalla somma Pertanto, dove il fattore non influenza l'argmin.$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

In sintesi, i coefficienti che minimizzano la probabilità logaritmica negativa (cioè massimizzano la verosimiglianza) dei dati osservati minimizzano anche il rischio empirico dei dati con funzione di perdita data dalla distanza di Mahalanobis.$\beta_0, \beta_1$

La distanza di Mahalanobis è una distanza euclidea (distanza naturale) che tiene conto della covarianza dei dati. Dà un peso maggiore al componente rumoroso ed è quindi molto utile per verificare la somiglianza tra due set di dati.

Come puoi vedere nel tuo esempio qui quando le variabili sono correlate, la distribuzione viene spostata in una direzione. Potresti voler rimuovere questi effetti. Se si tiene conto della correlazione a distanza, è possibile rimuovere l'effetto di spostamento.