Quale tipo di normalizzazione dei dati dovrebbe essere usato con KNN?

So che esistono più di due tipi di normalizzazione.

Per esempio,

1- Trasformazione dei dati utilizzando un punteggio z o un punteggio t. Questo di solito si chiama standardizzazione.

2- Riscalare i dati per avere valori compresi tra 0 e 1.

La domanda ora se ho bisogno di normalizzare

Quale tipo di normalizzazione dei dati dovrebbe essere usato con KNN? e perché?

— jeza
fonte

$0$ $1$

$x_1 = (f_1^1, f_1^2, ..., f_1^M)$ $x_2 = (f_2^1, f_2^2, ..., f_2^M)$ $f_1^i$ $i$ $x_1$

d (x_{1}, x_{2}) = \sqrt{(f_{1}^{1} - f_{2}^{1})^{2} + (f_{1}^{2} - f_{2}^{2})^{2} + . . . + (f_{1}^{M} - f_{2}^{M})^{2}}

$d(x_1, x_2) = \sqrt{(f_1^1 - f_2^1)^2 + (f_1^2 - f_2^2)^2 + ... + (f_1^M - f_2^M)^2}$

Affinché tutte le funzioni abbiano la stessa importanza nel calcolo della distanza, le caratteristiche devono avere lo stesso intervallo di valori. Ciò è possibile solo attraverso la normalizzazione.

$f^1$ $[0, 1$ $f^2$ $[1, 10)$ $10$

La standardizzazione, d'altra parte, ha molte proprietà utili, ma non può garantire che le caratteristiche siano mappate sullo stesso intervallo. Mentre la standardizzazione può essere più adatta per altri classificatori, questo non è il caso di k-NN o di qualsiasi altro classificatore basato sulla distanza.

— Djib2011
fonte

La tua risposta sarà la stessa se avessi usato una distanza diversa invece della distanza euclidea (ad esempio la distanza di Manhattan o altra distanza anche la distanza frazionaria)? Anche se l'intervallo delle variabili è approssimativamente ravvicinato.

— Jeza

f^{1} \in [0, 1)

$f^1 \in [0, 1)$

f^{2} \in [0, 1.2)

$f^2 \in [0, 1.2)$

f^{2}

$f^2$

20 %

$20\%$

f^{1}

$f^1$ . Una cosa che ho dimenticato di menzionare è che la standardizzazione, ovviamente, è molto meglio che non eseguire alcun ridimensionamento delle funzionalità; è semplicemente peggio della normalizzazione.

— Djib2011,

Ah capisco "è semplicemente peggio della normalizzazione" !?

— Jeza