Spiega "Maledizione della dimensionalità" a un bambino

Ho sentito molte volte parlare della maledizione della dimensionalità, ma in qualche modo non riesco ancora a cogliere l'idea, è tutto nebbioso.

Qualcuno può spiegarlo nel modo più intuitivo, come lo spiegheresti a un bambino, in modo che io (e gli altri confusi come sono) potrei capirlo per sempre?

MODIFICARE:

Ora, supponiamo che il bambino abbia in qualche modo sentito parlare di clustering (ad esempio, sanno come raggruppare i loro giocattoli :)). In che modo l'aumento della dimensionalità renderebbe più difficile il lavoro di raggruppamento dei loro giocattoli?

Ad esempio, prendevano in considerazione solo la forma del giocattolo e il colore del giocattolo (giocattoli a un colore), ma ora devono considerare anche le dimensioni e il peso dei giocattoli. Perché è più difficile per il bambino trovare giocattoli simili?

MODIFICA 2

Per motivi di discussione, devo chiarire che: "Perché è più difficile per il bambino trovare giocattoli simili" - Intendo anche perché la nozione di distanza si perde negli spazi ad alta dimensione?

Probabilmente al bambino piacerà mangiare i biscotti, quindi supponiamo che tu abbia un intero camion con biscotti che hanno un colore diverso, una forma diversa, un gusto diverso, un prezzo diverso ...

Se il bambino deve scegliere ma prendere in considerazione solo una caratteristica, ad esempio il gusto, allora ha quattro possibilità: dolce, salato, acido, amaro, quindi il bambino deve solo provare quattro biscotti per trovare ciò che gli piace di più.

Se al bambino piacciono le combinazioni di gusto e colore, e ci sono 4 (sono piuttosto ottimista qui :-)) colori diversi, allora deve già scegliere tra 4x4 tipi diversi;

Se vuole, inoltre, prendere in considerazione la forma dei cookie e ci sono 5 forme diverse, dovrà provare 4x4x5 = 80 biscotti

Potremmo continuare, ma dopo aver mangiato tutti questi biscotti potrebbe già avere mal di pancia ... prima di poter fare la sua scelta migliore :-) A parte il mal di pancia, può diventare davvero difficile ricordare le differenze nel gusto di ogni cookie.

Come puoi vedere (@Almo) la maggior parte (tutte?) Le cose diventano più complicate all'aumentare del numero di dimensioni, questo vale per gli adulti, per i computer e anche per i bambini.

L'analogia che mi piace usare per la maledizione della dimensionalità è un po 'più dal punto di vista geometrico, ma spero che sia ancora sufficientemente utile per tuo figlio.

È facile cacciare un cane e magari catturarlo se correva in pianura (due dimensioni). È molto più difficile cacciare gli uccelli, che ora hanno una dimensione in più in cui possono spostarsi. Se facciamo finta che i fantasmi siano esseri di dimensione superiore (simili alla Sfera che interagisce con A. Square in Flatland ), questi sono ancora più difficili da catturare. :)

Ok, quindi analizziamo l'esempio del bambino che raggruppa i suoi giocattoli.
Immagina che il bambino abbia solo 3 giocattoli:

1. un pallone da calcio blu
   
2. un freesbe blu
3. un cubo verde (ok forse non è il giocattolo più divertente che puoi immaginare)

Facciamo la seguente ipotesi iniziale su come un giocattolo può essere realizzato:

1. I colori possibili sono: rosso, verde, blu
2. Le forme possibili sono: cerchio, quadrato, triangolo

Ora possiamo avere (num_colors * num_shapes) = 3 * 3 = 9 possibili cluster.

Il ragazzo raggrupperebbe i giocattoli come segue:

• CLUSTER A) contiene la sfera blu e il freesbe blu, perché hanno lo stesso colore e la stessa forma
• CLUSTER B) contiene il cubo verde super divertente

Usando solo queste 2 dimensioni (colore, forma) abbiamo 2 cluster non vuoti: quindi in questo primo caso il 7/9 ~ 77% del nostro spazio è vuoto.

Ora aumentiamo il numero di dimensioni che il bambino deve considerare. Facciamo anche le seguenti ipotesi su come un giocattolo può essere realizzato:

3. Le dimensioni del giocattolo possono variare da pochi centimetri a 1 metro, con incrementi di dieci centimetri: 0-10 cm, 11-20 cm, ..., 91 cm-1 m
4. Il peso del giocattolo può variare in modo simile fino a 1 chilogrammo, con incrementi di 100 grammi: 0-100 g, 101-200 g, ..., 901 g-1 kg.

Se vogliamo raggruppare i nostri giocattoli ORA, abbiamo (num_colors * num_shapes * num_sizes * num_weights) = 3 * 3 * 10 * 10 = 900 possibili cluster.

Il ragazzo raggrupperebbe i giocattoli come segue:

• CLUSTER A) contiene il pallone da calcio blu perché è blu e pesante
• CLUSTER B) contiene il freesbe blu perché è blu e chiaro
• CLUSTER C) contiene il cubo verde super divertente

Utilizzando le attuali 4 dimensioni (forma, colore, dimensione, peso) solo 3 cluster non sono vuoti: quindi in questo caso l'897/900 ~ il 99,7% dello spazio è vuoto.

Questo è un esempio di ciò che trovi su Wikipedia ( https://en.wikipedia.org/wiki/Curse_of_dimensionality ):
... quando la dimensionalità aumenta, il volume dello spazio aumenta così rapidamente che i dati disponibili diventano scarsi.

Modifica: Non sono sicuro di poter davvero spiegare a un bambino perché la distanza a volte va storta in spazi ad alta dimensione, ma proviamo a procedere con il nostro esempio del bambino e dei suoi giocattoli.

Considera solo le prime 2 caratteristiche {color, shape} che tutti concordano sul fatto che la pallina blu è più simile al freesbe blu che al cubo verde.

Ora aggiungiamo altre 98 caratteristiche {diciamo: dimensioni, peso, giorno_di_produzione_del_toy, materiale, morbidezza, giorno_in_which_the_toy_was_bought_by_daddy, prezzo ecc}: beh, per me sarebbe sempre più difficile giudicare quale giocattolo è simile a quale.

Così:

1. Un gran numero di funzioni può essere irrilevante in un certo confronto di somiglianza, portando a una corruzione del rapporto segnale-rumore.
2. In dimensioni elevate, tutti gli esempi "simili".
   
   

Se mi ascolti, una buona lezione è "Alcune cose utili da sapere sull'apprendimento automatico" ( http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf ), in particolare il paragrafo 6 presenta questo tipo di ragionamento.

Spero che sia di aiuto!

Mi sono imbattuto nel seguente link che fornisce una spiegazione molto intuitiva (e dettagliata) della maledizione della dimensionalità: http://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/

In questo articolo, discuteremo della cosiddetta "Maledizione della dimensionalità" e spiegheremo perché è importante quando si progetta un classificatore. Nelle sezioni seguenti fornirò una spiegazione intuitiva di questo concetto, illustrata da un chiaro esempio di sovradimensionamento dovuto alla maledizione della dimensionalità.

In poche parole questo articolo deriva (intuitivamente) che l'aggiunta di più funzionalità (ovvero l'aumento della dimensionalità del nostro spazio delle funzionalità) richiede la raccolta di più dati. In effetti la quantità di dati che dobbiamo raccogliere (per evitare un eccesso di adattamento) aumenta esponenzialmente man mano che aggiungiamo più dimensioni.

Ha anche belle illustrazioni come la seguente:

La maledizione della dimensionalità è in qualche modo sfocata nella definizione in quanto descrive cose diverse ma correlate in diverse discipline. Quanto segue illustra la maledizione della dimensionalità dell'apprendimento automatico:

Supponiamo che una ragazza abbia dieci giocattoli, di cui le piacciono solo quelli in corsivo:

• un orsacchiotto marrone
• un'auto blu
• un treno rosso
• un escavatore giallo
• un libro verde
• un tricheco di peluche grigio
• un carro nero
• una palla rosa
• un libro bianco
• una bambola arancione

Ora, suo padre vuole regalarle un nuovo giocattolo come regalo per il suo compleanno e vuole assicurarsi che le piaccia. Pensa molto a cosa hanno in comune i giocattoli che le piacciono e finalmente arriva a una soluzione. Dà a sua figlia un puzzle colorato. Quando non le piace, risponde: “Perché non ti piace? Contiene la lettera w. ”

Il padre è caduto vittima della maledizione della dimensionalità (e dell'ottimizzazione nel campione). Considerando le lettere, si muoveva in uno spazio di 26 dimensioni e quindi era molto probabile che trovasse un criterio che separasse i giocattoli che piaceva alla figlia. Questo non doveva essere un criterio a lettera singola come nell'esempio, ma avrebbe potuto essere anche qualcosa di simile

contiene almeno uno di a, n e p ma nessuno di u, f e s.

Per dire adeguatamente se le lettere sono un buon criterio per determinare quali giocattoli piacciono a sua figlia, il padre dovrebbe conoscere le preferenze di sua figlia su una quantità gigantesca di giocattoli¹ - o semplicemente usare il suo cervello e considerare solo parametri che sono effettivamente concepibili per influenzare la figlia opinione.

¹ ordine di grandezza: , se tutte le lettere fossero ugualmente probabili e non prenderebbe in considerazione più occorrenze di lettere.$2^{26}$

• Pensa a un cerchio racchiuso nel quadrato dell'unità.
• Pensa a una sfera racchiusa nel cubo dell'unità.
• Pensa a un'iper sfera n-dimensionale racchiusa nell'ipercubo unità n-dimensionale.

Il volume dell'ipercubo è 1, ovviamente, se misurato in unità. Tuttavia, il volume di una iper sfera si riduce con n in crescita.$1^n$

Se c'era qualcosa di interessante nell'iper-sfera, è sempre più difficile vederlo in dimensioni superiori. Nel caso dimensionale l'iper-sfera scompare! Questa è la maledizione.$\infty$

AGGIORNAMENTO: sembra che alcune persone non abbiano avuto il collegamento con le statistiche. Puoi vedere la relazione se immagini di scegliere un punto casuale all'interno di un ipercubo. Nel caso bidimensionale la probabilità che questo punto sia all'interno del cerchio (iper sfera) è , nel caso tridimensionale è ecc. Nel caso dimensionale la probabilità è zero.$\pi/4$$\pi/6$$\infty$

Io: "Sto pensando a un piccolo animale marrone che inizia con" S ". Che cos'è?"

Lei: "Scoiattolo!"

Io: "OK, più difficile. Sto pensando a un piccolo animale marrone. Che cos'è?"

Lei: "Ancora uno scoiattolo?"

Io no"

Lei: "Ratto, topo, arvicola?

Io: "No"

Lei: "Umm ... dammi un indizio"

Io: "No, ma farò qualcosa di meglio: ti lascio rispondere a una domanda CrossValidated"

Lei: [geme]

Io: "La domanda è: qual è la maledizione della dimensionalità? E già conosci la risposta"

Lei: "Lo faccio?"

Io: "Sì. Perché è stato più difficile indovinare il primo animale rispetto al secondo?"

Lei: "Perché ci sono più piccoli animali marroni che piccoli animali marroni che iniziano con 'S'?"

Io: "Esatto. E questa è la maledizione della dimensionalità. Giochiamo di nuovo."

Lei: "OK"

Io: "Sto pensando a qualcosa. Che cos'è?"

Lei: "Non è giusto. Questo gioco è troppo difficile."

Io: "Vero. Ecco perché lo definiscono una maledizione. Non puoi fare bene senza sapere le cose a cui tendo a pensare."

Supponiamo di voler spedire alcune merci. Si desidera sprecare il minor spazio possibile durante l'imballaggio della merce (cioè lasciare il minor spazio possibile), poiché i costi di spedizione sono correlati al volume della busta / scatola. I contenitori a vostra disposizione (buste, scatole) hanno angoli retti, quindi nessun sacco ecc.

Primo problema: spedisci una penna (una "linea") - puoi costruire una scatola attorno ad essa senza spazio perso.

Secondo problema: spedire un CD (una "sfera"). Devi metterlo in una busta quadrata. A seconda dell'età del bambino, potrebbe essere in grado di calcolare la quantità di busta che rimarrà vuota (e ancora sapere che ci sono CD e non solo download ;-)).

Terzo problema: spedire un pallone da calcio (calcio, e deve essere gonfiato!). Dovrai metterlo in una scatola e un po 'di spazio rimarrà vuoto. Quello spazio vuoto sarà una frazione maggiore del volume totale rispetto all'esempio del CD.

A quel punto la mia intuizione usando questa analogia si ferma, perché non riesco a immaginare una quarta dimensione.

EDIT: L'analogia è più utile (se non del tutto) per la stima non parametrica, che utilizza osservazioni "locali" al punto di interesse per stimare, diciamo, una densità o una funzione di regressione in quel punto. La maledizione della dimensionalità è che nelle dimensioni più elevate, uno ha bisogno di un vicinato molto più ampio per un dato numero di osservazioni (il che rende discutibile la nozione di località) o una grande quantità di dati.

I miei 6 anni sono più sul verso della ricerca della causa primaria, come in "ma da dove proviene tutto questo gas nell'universo?" ... beh, immaginerò che tuo figlio capisca "dimensioni superiori", che sembra molto improbabile per me.

Facciamo la seguente domanda: scegli punti casuali (uniformemente) in un cubo , uno per uno. Quanto tempo ci vuole per ottenere un punto nell'angolo inferiore ?$n$$[0,1]^n$$\left[ {1\over2}, {1\over2}\right]^n$

La risposta, giovane ragazzo, è che la probabilità che un punto casuale si trovi in ​​questo angolo inferiore è , il che significa che il numero atteso di punti da disegnare prima di colpire la sinistra corner è (in base alle proprietà della distribuzione geometrica). E come lo sai dal problema del grano e della scacchiera, questo diventa rapidamente terribilmente enorme.$\left({1\over 2}\right)^n$$2^n$

Ora vai a prendere la tua stanza, papà deve lavorare.

PS sul raggruppamento ... pensa ai tuoi punti sparsi in questa scatola ad alta dimensione. È così grande che ci sono sotto-caselle con bordi di lunghezza . Ci vorrà del tempo prima di raccogliere due punti nella stessa casella secondaria. Bene, questo può costituire un problema anche quando il punto non viene disegnato in modo uniforme in modo casuale, ma in alcuni cluster. Se i cluster non vengono scelti in modo arbitrariamente piccolo, può richiedere molto tempo prima di raccogliere due punti nella stessa casella secondaria. Capisci che questo ostacola il raggruppamento ...$2^n$${1\over 2}$

C'è un classico problema matematico da manuale che lo dimostra.

Preferiresti guadagnare (opzione 1) 100 centesimi al giorno, ogni giorno per un mese o (opzione 2) un centesimo raddoppiato ogni giorno per un mese? Puoi porre a tuo figlio questa domanda.

Se scegli l'opzione 1,
il primo giorno ricevi 100 centesimi il secondo giorno ricevi 100 centesimi il terzo giorno ricevi 100 centesimi ... il giorno 30 ricevi 100 centesimi

il giorno ricevi 100 centesimi.$n^{th}$

il numero totale di penny si trova moltiplicando il numero di giorni per il numero di penny al giorno:

Se scegli l'opzione 2:
il giorno 1 ricevi 1 penny il giorno 2 ricevi 2 penny il giorno 3 ottieni 4 penny il giorno 4 ottieni 8 penny il giorno 5 ottieni 16 penny ... il giorno 30 ottieni 1.073.741.824 penny

il giorno ricevi penny.$n^{th}$$2^n$

il numero totale di penny sta osservando che la somma di tutti i giorni precedenti è uno in meno del numero di penny ricevuti nel giorno corrente:

Chiunque abbia avidità sceglierà il numero più grande. L'avidità semplice è facile da trovare e richiede poca riflessione. Gli animali insensibili sono facilmente capaci di avidità - gli insetti sono notoriamente bravi a farlo. Gli umani sono capaci di molto di più.

Se inizi con un centesimo invece di cento l'avidità è più facile, ma se cambi la potenza di un polinomio è più complesso. Complesso può anche significare molto più prezioso.

A proposito della "maledizione"
L'operazione matematica "più importante" legata alla fisica è l'inversione della matrice. Conduce soluzioni di sistemi di equazioni differenziali parziali, le più comuni delle quali sono le equazioni di Maxwell (elettromagnetismo), le equazioni di Navier Stokes (fluidi), l'equazione di Poisson (trasferimento diffusivo) e le variazioni della legge di Hookes (solidi deformabili). Ognuna di queste equazioni ha corsi universitari costruiti attorno a loro.

L'inversione della matrice grezza come insegnata in Linear Algebra, alias metodo Gauss-Jordan, richiede il completamento di operazioni. Qui "n" non è il numero di dimensioni, ma il numero di blocchi discretizzati. Si estrae facilmente in base al numero di dimensioni. Se sono necessari 10 blocchi per rappresentare adeguatamente la geometria di un oggetto 2d, sono necessari almeno 10 ^ 2 per rappresentare adeguatamente un analogo 3d e 10 ^ 2 ^ 2 per rappresentare un analogo 4d. Se stai pensando in termini di geometria potresti dire "non ci sono 4 dimensioni" ma in termini di quantità fisiche come temperatura, concentrazione o velocità in una direzione particolare, ognuna richiede la propria "colonna" e conta come una dimensione. Prendere queste equazioni da 2d a 3d può aumentare la "n" di diversi poteri.$n^3$

La maledizione esiste perché se viene superata c'è una pentola di valore d'oro alla fine dell'arcobaleno. Non è facile: grandi menti hanno affrontato il problema con forza.

link:

• https://en.wikipedia.org/wiki/Computational_complexity_of_mathematical_operations

Fcop ha offerto una grande analogia con i cookie, ma ha coperto solo l'aspetto della densità di campionamento della maledizione della dimensionalità. Possiamo estendere questa analogia al volume di campionamento o alla distanza distribuendo lo stesso numero di biscotti Fcop in, diciamo, dieci scatole in una riga, 10x10 scatole piatte sul tavolo e 10x10x10 in una pila. Quindi puoi mostrare che per mangiare la stessa porzione di cookie il bambino dovrà aprire sempre più scatole.

Riguarda davvero le aspettative, ma illustriamo un approccio basato sullo "scenario peggiore".

Se ci sono 8 biscotti e vogliamo mangiarne una metà, cioè 4, da 10 scatole nel peggiore dei casi dobbiamo solo aprire 6 scatole. Questo è il 60%, anche solo la metà. Da 10x10 (di nuovo nel peggiore dei casi) - 96 (%). E da 10x10x10 a 996 (99,6%). Sono quasi tutti!

Potrebbe essere l'analogia del magazzino e la distanza percorsa tra le stanze farebbe meglio delle scatole qui.