Come capire "non lineare" come in "riduzione della dimensionalità non lineare"?

24

Sto cercando di comprendere le differenze tra i metodi di riduzione della dimensionalità lineare (ad es. PCA) e quelli non lineari (ad es. Isomap).

Non riesco proprio a capire cosa implica la (non) linearità in questo contesto. Ho letto da Wikipedia che

In confronto, se PCA (un algoritmo di riduzione della dimensionalità lineare) viene utilizzato per ridurre lo stesso set di dati in due dimensioni, i valori risultanti non sono così ben organizzati. Ciò dimostra che i vettori ad alta dimensione (ognuno dei quali rappresenta una lettera 'A') che campionano questa varietà variano in modo non lineare.

Cosa fa

i vettori ad alta dimensione (ognuno dei quali rappresenta una lettera 'A') che campionano questa varietà variano in modo non lineare.

significare? O più in generale, come posso capire la (non) linearità in questo contesto?

— Sibbs Gioco d'azzardo
fonte

20

Riduzione della dimensionalità significa che si mappa ogni vettore multidimensionale in un vettore a bassa dimensione. In altre parole, rappresenti (sostituisci) ogni vettore multidimensionale con un vettore a bassa dimensione.

Riduzione della dimensionalità lineare significa che i componenti del vettore a bassa dimensione sono dati dalle funzioni lineari dei componenti del vettore ad alta dimensione corrispondente. Ad esempio in caso di riduzione a due dimensioni abbiamo:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Se f1e f2sono funzioni (non) lineari, abbiamo una riduzione di dimensionalità (non) lineare.

— romano
fonte

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ sono i componenti dei vettori a bassa e alta dimensione, rispettivamente (e penso che non sia quello che intendi). Ho pensato che il problema non fosse nella comprensione di cosa sia una funzione lineare ma in cui appare la linearità.

— Roman

49

Un'immagine vale più di mille parole:

PCA vs Isomap

Qui stiamo cercando una struttura monodimensionale in 2D. I punti si trovano lungo una curva a forma di S. PCA cerca di descrivere i dati con una varietà lineare monodimensionale, che è semplicemente una linea; ovviamente una linea si adatta a questi dati piuttosto male. Isomap è alla ricerca di una varietà monodimensionale non lineare (cioè curva!) E dovrebbe essere in grado di scoprire la curva a forma di S sottostante.

— ameba dice Reinstate Monica
fonte