Spiegazione della formula per il punto più vicino mediano all'origine di N campioni dalla sfera unitaria

In Elements of Statistical Learning , viene introdotto un problema per evidenziare i problemi con k-nn in spazi ad alta dimensione. Esistono punti dati distribuiti uniformemente in una sfera di unità dimensionale. $N$ $p$

La distanza mediana dall'origine al punto dati più vicino è data dall'espressione:

d (p, N) = {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{p}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

Quando , la formula si divide a metà del raggio della palla, e posso vedere come il punto più vicino si avvicina al bordo come , rendendo così l'intuizione dietro knn rompersi in dimensioni elevate. Ma non riesco a capire perché la formula abbia una dipendenza da N. Qualcuno potrebbe chiarire, per favore? $N=1$ $p \rightarrow \infty$

Anche il libro affronta ulteriormente questo problema affermando: "... la previsione è molto più difficile vicino ai bordi del campione di addestramento. Bisogna estrapolare dai punti di campionamento vicini piuttosto che interpolare tra di loro". Sembra un'affermazione profonda, ma non riesco a capire cosa significhi. Qualcuno potrebbe riformulare?

self-study proof k-nearest-neighbour

— user64773
fonte

Devi modificare un po 'l'equazione visualizzata. Questo esponente applicabile solo a quello nel numeratore come appare ora, o volevi che si applicasse all'intero ?

\frac{1}{N}

$\frac 1N$

1

$1$

\frac{1}{2}

$\frac 12$

— Dilip Sarwate,

Aiuterebbe a distinguere l '"ipersfera" (che in è una varietà di dimensioni ) dalla "sfera unitaria" (che ha dimensione ). L'ipersfera è il confine della palla. Se, come dice il titolo, tutti i punti vengono campionati dall'ipersfera , allora - per definizione - hanno tutti la distanza dall'origine, la distanza mediana è e tutti sono ugualmente vicini all'origine.

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

— whuber

@DilipSarwate Viene applicato all'intero . Nel libro c'è un esempio in cui so

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

— user64773

Risposte:

Il volume di un HyperBall dimensionale di raggio ha un volume proporzionale . $p$ $r$ $r^p$

Quindi la proporzione del volume più di una distanza dall'origine è . $kr$ $\frac{r^p-(kr)^p}{r^p}=1-k^p$

La probabilità che tutte punti scelti a caso sono più di una distanza dall'origine è . Per ottenere la distanza mediana dal punto casuale più vicino, impostare questa probabilità uguale a . Quindi $N$ $kr$ $\left(1-k^p\right)^N$ $\frac12$

{(1 - k^{p})}^{N} = \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p} .

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

Intuitivamente questo fa una sorta di senso: i punti più casuali ci sono, più ci si aspetta quello più vicino alle origini per essere, quindi si dovrebbe aspettare sia una funzione decrescente del . Qui è una funzione decrescente di , quindi è una funzione crescente di , e quindi è una funzione decrescente di come è la sua radice . $k$ $N$ $2^{1/N}$ $N$ $\tfrac1{2^{1/N}}$ $N$ $1-\tfrac1{2^{1/N}}$ $N$ $p$

— Henry
fonte

Ah, bel modo di vederlo. Saresti in grado di reinterpretare la citazione nella mia seconda domanda?

— user64773

Ho il sospetto che possa suggerire che in dimensioni elevate, i punti da prevedere sono effettivamente molto lontani dai dati di allenamento, come se fossero sul bordo di una sfera, quindi non si sta realmente interpolando ma piuttosto estrapolando, e quindi le incertezze sono molto maggiori. Ma non lo so davvero.

— Henry,

Non capisco - capisco perché questa espressione è la probabilità che tutti i punti siano più lontani di kr, ma perché impostare questa probabilità su 1/2 fornisce la distanza mediana ??

— ihadanny,

@ihadanny: il valore indica la frazione del raggio in cui la probabilità che tutti gli punti siano più distanti è e quindi dove la probabilità che almeno un punto sia più vicino è , quindi è la mediana della distribuzione della distanza del punto più vicino.

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

\frac{1}{2}

$\frac12$

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

— Henry,

Definizione di mediana, metà sono più grandi e metà sono più piccoli.

— Concedi Izmirlian il

E ora senza agitare la mano

Per qualsiasi sequenza di iid rv's, dove è il CDF comune
$P (min_{1 \leq i \leq N} Y_{i} > y) = (1 - F (y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
Quindi se abbiamo iid distribuito uniformemente nella sfera unitaria in dimensioni , allora dove è la CDF comuni delle distanze, . Infine, qual è il CDF, , per un punto uniformemente distribuito nella sfera unitaria in ? La probabilità che il punto si trovi nella sfera del raggio r all'interno della sfera del raggio unitario è uguale al rapporto dei volumi: $N$ $X_i$ $p$
$P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - F (r))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (r) = P (| | X_{i} | | \leq r) = C r^{p} / (C 1^{p}) = r^{p}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

Quindi la soluzione a

1 / 2 = P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

Anche le tue domande su dipendenza dalla dimensione del campione, . Per fisso, quando la palla si riempie di più punti, naturalmente la distanza minima dall'origine dovrebbe ridursi. $N$ $p$

Infine, c'è qualcosa che non va nel rapporto tra i volumi. Sembra che dovrebbe essere il volume della sfera dell'unità in . $k$ $R^p$

— Grant Izmirlian
fonte

Come conciso ma a parole:

Vogliamo trovare la distanza mediana del punto più vicino all'origine in punti distribuiti uniformemente nella palla all'origine del raggio unitario in dimensioni . La probabilità che la distanza minima superi , (chiama questa espressione di quantità [1]) è la potenza della probabilità che un singolo punto uniformemente distribuito superi , a causa dell'indipendenza statistica. Quest'ultimo è uno meno la probabilità che un singolo punto uniformemente distribuito sia inferiore a . Quest'ultimo è il rapporto tra i volumi della sfera del raggio rispetto alla sfera del raggio unitario, o . Ora possiamo scrivere expression [1] come $N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

Per trovare la mediana della distribuzione del minimo delle distanze, impostare la probabilità di cui sopra a e risolvere per , ottenendo la risposta. $1/2$ $r$

— Grant Izmirlian
fonte