Statistiche e Big Data high-dimensional

8

Perché la distanza euclidea non è una buona metrica in dimensioni elevate?

Ho letto che "la distanza euclidea non è una buona distanza in dimensioni elevate". Immagino che questa affermazione abbia qualcosa a che fare con la maledizione della dimensionalità, ma cosa esattamente? Inoltre, che cosa sono le "alte dimensioni"? Ho applicato il clustering gerarchico usando la distanza euclidea con 100 funzioni. …

241 machine-learning clustering distance-functions metric high-dimensional

11

Spiega "Maledizione della dimensionalità" a un bambino

Ho sentito molte volte parlare della maledizione della dimensionalità, ma in qualche modo non riesco ancora a cogliere l'idea, è tutto nebbioso. Qualcuno può spiegarlo nel modo più intuitivo, come lo spiegheresti a un bambino, in modo che io (e gli altri confusi come sono) potrei capirlo per sempre? MODIFICARE: …

92 machine-learning dimensionality-reduction high-dimensional

7

Il miglior algoritmo PCA per un numero enorme di funzionalità (> 10 K)?

In precedenza l'ho chiesto su StackOverflow, ma sembra che qui potrebbe essere più appropriato, dato che non ha ricevuto risposte su SO. È una specie di incrocio tra statistica e programmazione. Ho bisogno di scrivere un po 'di codice per fare PCA (Analisi dei componenti principali). Ho sfogliato i noti …

54 pca algorithms model-evaluation high-dimensional

3

Come stimare il parametro di contrazione in Lazo o regressione della cresta con variabili> 50K?

Voglio usare la regressione Lasso o ridge per un modello con oltre 50.000 variabili. Voglio farlo utilizzando il pacchetto software in R. Come posso stimare il parametro di restringimento ( )?λλ\lambda modifiche: Ecco il punto in cui mi sono alzato: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= …

36 r lasso ridge-regression high-dimensional

3

La riduzione della dimensionalità per la visualizzazione dovrebbe essere considerata un problema "chiuso", risolto da t-SNE?

Ho letto molto sull'algoritmo -sne per la riduzione della dimensionalità. Sono rimasto molto colpito dalle prestazioni su set di dati "classici", come MNIST, in cui raggiunge una chiara separazione delle cifre ( vedi articolo originale ):ttt L'ho anche usato per visualizzare le funzionalità apprese da una rete neurale che mi …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

Perché LASSO non trova la mia coppia predittiva perfetta ad alta dimensionalità?

Sto eseguendo un piccolo esperimento con la regressione di LASSO in R per testare se è in grado di trovare una coppia predittiva perfetta. La coppia è definita in questo modo: f1 + f2 = risultato Il risultato qui è un vettore predeterminato chiamato 'età'. F1 e f2 vengono creati …

20 r regression feature-selection lasso high-dimensional

1

I dati devono essere centrati + ridimensionati prima di applicare t-SNE?

Alcune funzionalità dei miei dati hanno valori elevati, mentre altre hanno valori molto più piccoli. È necessario centrare + ridimensionare i dati prima di applicare t-SNE per evitare distorsioni verso valori più grandi? Uso l'implementazione sklearn.manifold.TSNE di Python con la metrica di distanza euclidea predefinita.

18 normalization dimensionality-reduction high-dimensional tsne

4

La "maledizione della dimensionalità" esiste davvero nei dati reali?

Capisco cos'è la "maledizione della dimensionalità" e ho fatto alcuni problemi di ottimizzazione dimensionale elevata e conosco la sfida delle possibilità esponenziali. Tuttavia, dubito che la "maledizione della dimensionalità" esista nella maggior parte dei dati del mondo reale (beh, mettiamo da parte immagini o video per un momento, sto pensando …

17 clustering dimensionality-reduction high-dimensional

1

Regressione ad alta dimensione: perché il

Sto cercando di approfondire la ricerca nell'area della regressione ad alta dimensione; quando ppp è maggiore di nnn , cioè, p>>np>>np >> n . Sembra che il termine logp/nlog⁡p/n\log p/n appaia spesso in termini di tasso di convergenza per gli stimatori della regressione. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^-Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P …

16 regression lasso convergence high-dimensional

1

La maledizione della dimensionalità influenza alcuni modelli più di altri?

I luoghi che ho letto sulla maledizione della dimensionalità lo spiegano congiuntamente a kNN e ai modelli lineari in generale. Vedo regolarmente i migliori ranghi di Kaggle usando migliaia di funzionalità nel set di dati che difficilmente ha 100.000 punti dati. Usano principalmente alberi potenziati e NN, tra gli altri. …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

3

PCA su dati di testo ad alta dimensione prima della classificazione casuale delle foreste?

Ha senso fare PCA prima di effettuare una classificazione casuale delle foreste? Ho a che fare con dati di testo ad alta dimensione e voglio fare una riduzione delle caratteristiche per evitare la maledizione della dimensionalità, ma le foreste casuali non hanno già una sorta di riduzione della dimensione?

13 classification pca random-forest dimensionality-reduction high-dimensional

2

Come faccio a sapere se il mio algoritmo di clustering k-dire soffre della maledizione della dimensionalità?

Credo che il titolo di questa domanda dica tutto.

12 clustering k-means high-dimensional

2

La regressione lineare multipla in 3 dimensioni è un piano di adattamento ottimale o una linea di adattamento ottimale?

Il nostro prof non sta entrando nella matematica o nella rappresentazione geometrica della regressione lineare multipla e questo mi ha leggermente confuso. Da un lato si chiama ancora regressione lineare multipla, anche in dimensioni superiori. D'altra parte, se abbiamo ad esempio e possiamo inserire tutti i valori che vorremmo per …

11 multiple-regression high-dimensional

4

Maledizione della dimensionalità: classificatore kNN

Sto leggendo il libro di Kevin Murphy: Machine Learning - Una prospettiva probabilistica. Nel primo capitolo l'autore sta spiegando la maledizione della dimensionalità e c'è una parte che non capisco. Ad esempio, l'autore afferma: Considerare che gli ingressi sono distribuiti uniformemente lungo un cubo unità D-dimensionale. Supponiamo di stimare la …

11 self-study k-nearest-neighbour high-dimensional

1

È il teorema del contrasto relativo di Beyer et al. articolo: "Sul comportamento sorprendente delle metriche di distanza nello spazio ad alta dimensione" fuorviante?

Questo è citato molto spesso quando si parla della maledizione della dimensionalità e va (formula a destra chiamata contrasto relativo) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Il risultato del teorema mostra che la differenza tra le distanze massima e minima rispetto a …

10 machine-learning distance-functions high-dimensional

Domande taggate «high-dimensional»