Statistiche e Big Data pca

1

Riduzione della dimensionalità supervisionata

Ho un set di dati composto da 15K campioni etichettati (di 10 gruppi). Voglio applicare la riduzione della dimensionalità in 2 dimensioni, che prenderebbe in considerazione la conoscenza delle etichette. Quando utilizzo tecniche di riduzione della dimensionalità non standard "standard" come PCA, il grafico a dispersione sembra non avere nulla …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

Quali sono i componenti principali "ruotati" e "non ruotati", dato che PCA ruota sempre gli assi delle coordinate?

Per quanto ho capito, i componenti principali sono ottenuti ruotando gli assi delle coordinate per allinearli con le direzioni della massima varianza. Ciononostante, continuo a leggere "componenti principali non ruotati" e il mio software di statistica (SAS) mi offre componenti principali ruotati in varimax e quelli non ruotati. Qui sono …

13 pca terminology factor-rotation

2

Qual è la differenza tra la selezione delle funzioni e la riduzione della dimensionalità?

So che sia la selezione delle funzioni che la riduzione della dimensionalità mirano a ridurre il numero di funzioni nel set di funzioni originale. Qual è la differenza esatta tra i due se stiamo facendo la stessa cosa in entrambi?

13 machine-learning pca feature-selection dimensionality-reduction

1

Come interpretare i caricamenti di PCA?

Durante la lettura di PCA, ho trovato la seguente spiegazione: Supponiamo di avere un set di dati in cui ciascun punto di dati rappresenta i punteggi di un singolo studente in un test di matematica, un test di fisica, un test di comprensione della lettura e un test del vocabolario. …

13 pca

3

Implementazione passo-passo di PCA in R usando il tutorial di Lindsay Smith

Sto lavorando in R attraverso un eccellente tutorial PCA di Lindsay I Smith e mi sto bloccando nell'ultima fase. Lo script R di seguito ci porta fino allo stadio (a pag.19) in cui i dati originali vengono ricostruiti dal Componente principale (singolare in questo caso), che dovrebbe produrre un diagramma …

13 r pca

2

Selezione dei componenti PCA che separano i gruppi

Ho usato spesso per diagnosticare i miei dati multivariati usando PCA (dati omici con centinaia di migliaia di variabili e dozzine o centinaia di campioni). I dati provengono spesso da esperimenti con diverse variabili categoriali indipendenti che definiscono alcuni gruppi e spesso devo passare attraverso alcuni componenti prima di poter …

13 pca linear-model r-squared discriminant-analysis

3

Come calcolare i componenti principali ruotati in varimax in R?

Ho eseguito PCA su 25 variabili e ho selezionato i migliori 7 PC utilizzando prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Ho quindi fatto la rotazione varimax su quei componenti. varimax7 <- varimax(prc$rotation[,1:7]) E ora vorrei varimax ruotare i dati ruotati da PCA (poiché non fa parte dell'oggetto varimax - …

13 r pca factor-rotation

2

Per una matrice casuale, un SVD non dovrebbe spiegare nulla? Che cosa sto facendo di sbagliato?

Se costruissi una matrice 2D composta interamente da dati casuali, mi aspetterei che i componenti PCA e SVD non spieghino sostanzialmente nulla. Invece, sembra che la prima colonna SVD sembra spiegare il 75% dei dati. Come può essere possibile? Che cosa sto facendo di sbagliato? Ecco la trama: Ecco il …

13 r pca svd

3

PCA su dati di testo ad alta dimensione prima della classificazione casuale delle foreste?

Ha senso fare PCA prima di effettuare una classificazione casuale delle foreste? Ho a che fare con dati di testo ad alta dimensione e voglio fare una riduzione delle caratteristiche per evitare la maledizione della dimensionalità, ma le foreste casuali non hanno già una sorta di riduzione della dimensione?

13 classification pca random-forest dimensionality-reduction high-dimensional

3

I componenti di PCA rappresentano davvero la percentuale di varianza? Possono riassumere oltre il 100%?

"Machine Learning For Hackers" di O'Reilly afferma che ogni componente principale rappresenta una percentuale della varianza. Ho citato la parte pertinente della pagina seguente (capitolo 8, p. 207). Parlando con un altro esperto, hanno concordato che è la percentuale. Tuttavia, i 24 componenti si sommano al 133,2095%. Come può essere? …

13 r pca

2

Posso fare un PCA su misure ripetute per la riduzione dei dati?

Ho 3 prove ciascuna su 87 animali in ciascuno dei 2 contesti (alcuni dati mancanti; nessun dato mancante = 64 animali). In un contesto, ho molte misure specifiche (tempo di entrare, il numero di volte che ritornano al riparo, ecc), quindi voglio sviluppare 2 a 3 punteggi compositi di comportamento …

13 repeated-measures pca dimensionality-reduction

5

Riduzione della dimensionalità SVD per serie storiche di diversa lunghezza

Sto usando la decomposizione del valore singolare come tecnica di riduzione della dimensionalità. Dati i Nvettori di dimensione D, l'idea è quella di rappresentare le caratteristiche in uno spazio trasformato di dimensioni non correlate, che condensa la maggior parte delle informazioni dei dati negli autovettori di questo spazio in ordine …

13 time-series machine-learning pca data-transformation multivariate-analysis

1

Pacchetto GBM vs. Caret tramite GBM

Ho usato il tuning del modello caret, ma poi rieseguendo il modello usando il gbmpacchetto. Comprendo che il caretpacchetto utilizza gbme l'output dovrebbe essere lo stesso. Tuttavia, solo un rapido test eseguito utilizzando data(iris)mostra una discrepanza nel modello di circa il 5% utilizzando RMSE e R ^ 2 come metrica …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

1

Punteggi PCA e componenti basati su un mix di variabili continue e binarie

Voglio applicare un PCA su un set di dati, che consiste in variabili di tipo misto (continue e binarie). Per illustrare la procedura, ho incollato un esempio riproducibile minimo in R sotto. # Generate synthetic dataset set.seed(12345) n <- 100 x1 <- rnorm(n) x2 <- runif(n, -2, 2) x3 <- …

13 r pca

2

Come eseguire la convalida incrociata per PCA per determinare il numero di componenti principali?

Sto cercando di scrivere la mia funzione per l'analisi dei componenti principali, PCA (ovviamente ce ne sono già molti scritti ma sono solo interessato a implementare cose da solo). Il problema principale che ho riscontrato è la fase di convalida incrociata e il calcolo della somma dei quadrati prevista (PRESS). …

13 pca cross-validation matlab

Domande taggate «pca»