Statistiche e Big Data dimensionality-reduction

3

PCA troppo lento quando entrambi n, p sono grandi: alternative?

Impostazione del problema Ho punti dati (immagini) di alta dimensione (4096), che sto cercando di visualizzare in 2D. A tal fine, sto usando t-sne in un modo simile al seguente codice di esempio di Karpathy . La documentazione di scikit-learn consiglia di utilizzare PCA per ridurre prima la dimensione dei …

9 pca dimensionality-reduction high-dimensional java tsne

1

Qual è la differenza tra l'apprendimento molteplice e la riduzione della dimensionalità non lineare?

Qual è la differenza tra l' apprendimento molteplice e la riduzione della dimensionalità non lineare ? Ho visto questi due termini essere usati in modo intercambiabile. Per esempio: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : L'apprendimento collettivo (spesso indicato anche come riduzione della dimensionalità non lineare) persegue l'obiettivo di incorporare dati che originariamente si trovano …

9 terminology dimensionality-reduction manifold-learning

2

Comprensione di questo diagramma PCA delle vendite di gelati rispetto alla temperatura

Sto prendendo un dato fittizio sulla temperatura rispetto alle vendite di gelati e lo ho classificato usando K Keans (n cluster = 2) per distinguere 2 categorie (totalmente fittizio). Ora sto facendo un'analisi dei componenti principali su questi dati e il mio obiettivo è capire cosa vedo. So che l'obiettivo …

9 pca interpretation k-means dimensionality-reduction

2

Riduzione dimensionale scalabile

Considerando il numero di funzionalità costante, Barnes-Hut t-SNE ha una complessità di , proiezioni casuali e PCA hanno una complessità di che le rende "convenienti" per insiemi di dati molto grandi.O ( n )O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) D'altra parte, i metodi basati sul ridimensionamento multidimensionale hanno una complessità .O ( n2)O(n2)O(n^2) Esistono …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Impossibile far funzionare correttamente questa rete del codificatore automatico (con livelli convoluzionali e maxpool)

Le reti di autoencoder sembrano essere molto più complicate delle normali reti MLP classificatore. Dopo diversi tentativi di utilizzo di Lasagne, tutto ciò che ottengo nell'output ricostruito è qualcosa che assomiglia al meglio a una media sfocata di tutte le immagini del database MNIST senza distinzioni su cosa sia effettivamente …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

2

Come dimostrare che l'assunto molteplice è corretto?

Nell'apprendimento automatico, si presume spesso che un set di dati si trovi su una varietà liscia a bassa dimensione (il presupposto della varietà), ma esiste un modo per dimostrare che presupponendo che determinate condizioni siano soddisfatte, allora il set di dati è effettivamente (approssimativamente) generato da una varietà liscia a …

9 machine-learning dimensionality-reduction manifold-learning

3

L'ICA richiede prima di eseguire PCA?

Ho esaminato un documento basato sull'applicazione dicendo che l'applicazione di PCA prima di applicare l'ICA (usando il pacchetto fastICA). La mia domanda è: ICA (fastICA) richiede che PCA sia eseguito per primo? Questo documento lo ha menzionato ... si sostiene anche che la pre-applicazione della PCA migliora le prestazioni ICA …

9 pca dimensionality-reduction pattern-recognition ica

4

Tecnica non ortogonale analoga alla PCA

Supponiamo che io abbia un set di dati di punti 2D e che voglia rilevare le direzioni di tutti i massimi di varianza locali nei dati, ad esempio: PCA non aiuta in questa situazione in quanto si tratta di una decomposizione ortogonale e pertanto non è in grado di rilevare …

9 pca dimensionality-reduction

2

Variabili distorte nell'analisi PCA o dei fattori

Voglio fare l'analisi dei componenti principali (analisi dei fattori) su SPSS sulla base di 22 variabili. Tuttavia, alcune delle mie variabili sono molto distorte (l'asimmetria calcolata dagli intervalli SPSS da 2 a 80!). Quindi, ecco le mie domande: Devo mantenere le variabili oblique in questo modo o posso trasformare le …

9 pca factor-analysis dimensionality-reduction skewness

3

Qual è il punto di decomposizione del valore singolare?

Non capisco perché la riduzione della dimensione sia importante. Qual è il vantaggio di prendere alcuni dati e ridurne la dimensione?

9 dimensionality-reduction svd

1

Come interpretare i risultati della riduzione dimensionale / ridimensionamento multidimensionale?

Ho eseguito sia una decomposizione SVD che un ridimensionamento multidimensionale di una matrice di dati 6-dimensionale, al fine di comprendere meglio la struttura dei dati. Sfortunatamente, tutti i valori singolari sono dello stesso ordine, il che implica che la dimensionalità dei dati è davvero 6. Tuttavia, vorrei essere in grado …

9 pca interpretation dimensionality-reduction svd

Domande taggate «dimensionality-reduction»