Statistiche e Big Data dimensionality-reduction

3

Relazione tra SVD e PCA. Come usare SVD per eseguire PCA?

L'analisi dei componenti principali (PCA) viene di solito spiegata tramite una decomposizione degli automi della matrice di covarianza. Tuttavia, può anche essere eseguita mediante decomposizione in valori singolari (SVD) della matrice dati . Come funziona? Qual è la connessione tra questi due approcci? Qual è la relazione tra SVD e …

352 pca dimensionality-reduction matrix svd

1

Come invertire PCA e ricostruire variabili originali da diversi componenti principali?

L'analisi dei componenti principali (PCA) può essere utilizzata per la riduzione della dimensionalità. Dopo aver eseguito tale riduzione di dimensionalità, come si può ricostruire approssimativamente le variabili / caratteristiche originali da un piccolo numero di componenti principali? In alternativa, come si possono rimuovere o eliminare diversi componenti principali dai dati? …

113 pca dimensionality-reduction svd

11

Spiega "Maledizione della dimensionalità" a un bambino

Ho sentito molte volte parlare della maledizione della dimensionalità, ma in qualche modo non riesco ancora a cogliere l'idea, è tutto nebbioso. Qualcuno può spiegarlo nel modo più intuitivo, come lo spiegheresti a un bambino, in modo che io (e gli altri confusi come sono) potrei capirlo per sempre? MODIFICARE: …

92 machine-learning dimensionality-reduction high-dimensional

4

Spiegazione dell'APC e della percentuale di varianza

In generale, cosa si intende dicendo che la frazione della varianza in un'analisi come la PCA è spiegata dal primo componente principale? Qualcuno può spiegarlo in modo intuitivo, ma anche dare una definizione matematica precisa di cosa significa "varianza spiegata" in termini di analisi dei componenti principali (PCA)?XXx Per una …

90 regression pca linear-model dimensionality-reduction

2

Qual è la differenza tra lo sbiancamento ZCA e lo sbiancamento PCA?

Sono confuso circa lo sbiancamento ZCA e lo sbiancamento normale (che si ottiene dividendo i componenti principali per le radici quadrate degli autovalori PCA). Per quanto ne so, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, dove sono autovettori PCA.UU\mathbf U Quali sono gli usi dello sbiancamento ZCA? Quali sono le …

60 pca dimensionality-reduction image-processing

6

Modo di principio di collasso delle variabili categoriali con molti livelli?

Quali tecniche sono disponibili per il collasso (o il raggruppamento) di molte categorie a poche, allo scopo di usarle come input (predittore) in un modello statistico? Considera una variabile come quella di uno studente universitario (disciplina scelta da uno studente universitario). Non è ordinato e categorico, ma può potenzialmente avere …

58 regression categorical-data dimensionality-reduction feature-construction many-categories

3

PCA funzionerebbe con tipi di dati booleani (binari)?

Voglio ridurre la dimensionalità dei sistemi di ordine superiore e catturare la maggior parte della covarianza su un campo preferibilmente bidimensionale o monodimensionale. Capisco che ciò può essere fatto tramite l'analisi dei componenti principali e ho usato PCA in molti scenari. Tuttavia, non l'ho mai usato con tipi di dati …

38 pca data-visualization binary-data dimensionality-reduction correspondence-analysis

2

Quando t-SNE è fuorviante?

Citando uno degli autori: t-Distributed Stochastic Neighbor Embedding (t-SNE) è una tecnica ( premiata ) per la riduzione della dimensionalità che è particolarmente adatta per la visualizzazione di set di dati ad alta dimensione. Quindi suona abbastanza bene, ma è l'autore a parlare. Un'altra citazione dell'autore (in riferimento al suddetto …

37 data-visualization dimensionality-reduction tsne

3

Perché t-SNE non viene utilizzato come tecnica di riduzione della dimensionalità per il clustering o la classificazione?

In un recente incarico, ci è stato detto di utilizzare PCA sulle cifre MNIST per ridurre le dimensioni da 64 (8 x 8 immagini) a 2. Abbiamo quindi dovuto raggruppare le cifre utilizzando un modello di miscela gaussiana. La PCA che utilizza solo 2 componenti principali non produce cluster distinti …

34 classification clustering pca dimensionality-reduction tsne

1

Qual è la ragione intuitiva alla base delle rotazioni in Factor Analysis / PCA e come selezionare la rotazione appropriata?

Le mie domande Qual è la ragione intuitiva alla base delle rotazioni dei fattori nell'analisi fattoriale (o dei componenti in PCA)? La mia comprensione è che se le variabili sono quasi ugualmente caricate nei componenti (o fattori) principali, ovviamente è difficile differenziare i componenti. Quindi in questo caso si potrebbe …

33 pca interpretation factor-analysis dimensionality-reduction factor-rotation

1

In che modo la PCA aiuterebbe con un'analisi del clustering di k-mean?

Contesto : desidero classificare le aree residenziali di una città in gruppi in base alle loro caratteristiche socio-economiche, tra cui densità dell'unità abitativa, densità della popolazione, area verde, prezzo delle abitazioni, numero di scuole / centri sanitari / centri diurni, ecc. Voglio capire in quanti gruppi diversi possono essere suddivise …

32 clustering pca k-means dimensionality-reduction

1

Riduzione della dimensionalità (SVD o PCA) su una matrice ampia e sparsa

/ modifica: ulteriori follow-up ora è possibile utilizzare irlba :: prcomp_irlba / modifica: follow-up sul mio post. irlbaora ha argomenti "center" e "scale", che ti permettono di usarlo per calcolare i componenti principali, ad esempio: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Ho una vasta gamma Matrixdi funzioni …

31 r pca dimensionality-reduction svd matrix-decomposition

5

Come gestire i dati gerarchici / nidificati nell'apprendimento automatico

Spiegherò il mio problema con un esempio. Supponiamo di voler prevedere il reddito di un individuo in base ad alcuni attributi: {Età, Genere, Paese, Regione, Città}. Hai un set di dati di allenamento come questo train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", …

29 regression machine-learning multilevel-analysis correlation dataset spatial paired-comparisons cross-correlation clustering aic bic dependent-variable k-means mean standard-error measurement-error errors-in-variables regression multiple-regression pca linear-model dimensionality-reduction machine-learning neural-networks deep-learning conv-neural-network computer-vision clustering spss r weighted-data wilcoxon-signed-rank bayesian hierarchical-bayesian bugs stan distributions categorical-data variance ecology r survival regression r-squared descriptive-statistics cross-section maximum-likelihood factor-analysis likert r multiple-imputation propensity-scores distributions t-test logit probit z-test confidence-interval poisson-distribution deep-learning conv-neural-network residual-networks r survey wilcoxon-mann-whitney ranking kruskal-wallis bias loss-functions frequentist decision-theory risk machine-learning distributions normal-distribution multivariate-analysis inference dataset factor-analysis survey multilevel-analysis clinical-trials

4

Come eseguire la riduzione della dimensionalità in R

Ho una matrice in cui a (i, j) mi dice quante volte individuo ho visto la pagina j. Ci sono 27K individui e 95K pagine. Vorrei avere una manciata di "dimensioni" o "aspetti" nello spazio delle pagine che corrisponderebbero a gruppi di pagine che vengono spesso visualizzate insieme. Il mio …

28 r clustering dimensionality-reduction

2

Perché l'LDA di Python-scikit-learning non funziona correttamente e come calcola l'LDA tramite SVD?

Stavo usando Linear Discriminant Analysis (LDA) dalla scikit-learnlibreria di machine learning (Python) per la riduzione della dimensionalità ed ero un po 'curioso dei risultati. Mi chiedo ora cosa scikit-learnstia facendo l'ADL in modo che i risultati appaiano diversi, ad esempio, da un approccio manuale o da un ADL fatto in …

26 python scikit-learn dimensionality-reduction discriminant-analysis svd

Domande taggate «dimensionality-reduction»