Statistiche e Big Data dimensionality-reduction

1

Qual è la connessione tra minimi quadrati parziali, regressione di rango ridotto e regressione della componente principale?

La regressione di rango ridotto e la regressione della componente principale sono solo casi speciali di minimi quadrati parziali? Questo tutorial (Pagina 6, "Confronto di obiettivi") afferma che quando eseguiamo i minimi quadrati parziali senza proiettare X o Y (cioè "non parziale"), diventa di conseguenza una regressione di rango ridotta …

16 regression pca dimensionality-reduction partial-least-squares reduced-rank-regression

2

Metodi per unire / ridurre le categorie in dati ordinali o nominali?

Sto lottando per trovare un metodo per ridurre il numero di categorie nei dati nominali o ordinali. Ad esempio, diciamo che voglio costruire un modello di regressione su un set di dati che ha una serie di fattori nominali e ordinali. Anche se non ho problemi con questo passaggio, mi …

14 r categorical-data dimensionality-reduction many-categories

4

Quali variabili spiegano quali componenti PCA e viceversa?

Utilizzando questi dati: head(USArrests) nrow(USArrests) Posso fare un PCA in questo modo: plot(USArrests) otherPCA <- princomp(USArrests) Posso ottenere i nuovi componenti otherPCA$scores e la percentuale di varianza spiegata dai componenti con summary(otherPCA) E se volessi sapere quali variabili sono principalmente spiegate da quali componenti principali? E viceversa: ad esempio PC1 …

14 r pca dimensionality-reduction regression-strategies

3

Scelta degli iperparametri usando T-SNE per la classificazione

Nel problema specifico con cui lavoro (una competizione) ho l'impostazione seguente: 21 caratteristiche (numeriche su [0,1]) e un'uscita binaria. Ho circa 100 K righe. L'ambientazione sembra essere molto rumorosa. Io e altri partecipanti applichiamo la generazione di funzionalità per un po 'e l'incorporamento stocastico distribuito a t distribuito si è …

13 machine-learning dimensionality-reduction unsupervised-learning tsne

1

Riduzione della dimensionalità supervisionata

Ho un set di dati composto da 15K campioni etichettati (di 10 gruppi). Voglio applicare la riduzione della dimensionalità in 2 dimensioni, che prenderebbe in considerazione la conoscenza delle etichette. Quando utilizzo tecniche di riduzione della dimensionalità non standard "standard" come PCA, il grafico a dispersione sembra non avere nulla …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

2

Qual è la differenza tra la selezione delle funzioni e la riduzione della dimensionalità?

So che sia la selezione delle funzioni che la riduzione della dimensionalità mirano a ridurre il numero di funzioni nel set di funzioni originale. Qual è la differenza esatta tra i due se stiamo facendo la stessa cosa in entrambi?

13 machine-learning pca feature-selection dimensionality-reduction

1

Algebra di LDA. Potere di discriminazione di Fisher di un'analisi discriminante lineare e variabile

Apparentemente, l'analisi di Fisher mira a massimizzare contemporaneamente la separazione tra classi, minimizzando al contempo la dispersione all'interno delle classi. Una misura utile del potere di discriminazione di una variabile è quindi data dalla quantità diagonale: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Ho capito che la dimensione ( p x p) della Between …

13 algorithms dimensionality-reduction discriminant-analysis sums-of-squares

3

PCA su dati di testo ad alta dimensione prima della classificazione casuale delle foreste?

Ha senso fare PCA prima di effettuare una classificazione casuale delle foreste? Ho a che fare con dati di testo ad alta dimensione e voglio fare una riduzione delle caratteristiche per evitare la maledizione della dimensionalità, ma le foreste casuali non hanno già una sorta di riduzione della dimensione?

13 classification pca random-forest dimensionality-reduction high-dimensional

2

Posso fare un PCA su misure ripetute per la riduzione dei dati?

Ho 3 prove ciascuna su 87 animali in ciascuno dei 2 contesti (alcuni dati mancanti; nessun dato mancante = 64 animali). In un contesto, ho molte misure specifiche (tempo di entrare, il numero di volte che ritornano al riparo, ecc), quindi voglio sviluppare 2 a 3 punteggi compositi di comportamento …

13 repeated-measures pca dimensionality-reduction

1

Spiegare i passaggi dell'algoritmo LLE (local linear embedding)?

Comprendo che il principio di base dietro l'algoritmo per LLE consiste in tre passaggi. Individuazione del vicinato di ciascun punto dati mediante una metrica come k-nn. Trova pesi per ciascun vicino che denotano l'effetto che il vicino ha sul punto dati. Costruire l'incorporamento a bassa dimensione dei dati in base …

13 machine-learning model-selection feature-selection dimensionality-reduction nonlinear

1

Qual è il significato degli assi in t-SNE?

Attualmente sto cercando di avvolgere la mia testa attorno alla matematica t-SNE . Sfortunatamente, c'è ancora una domanda a cui non posso rispondere in modo soddisfacente: qual è il significato effettivo degli assi in un grafico t-SNE? Se dovessi fare una presentazione su questo argomento o includerlo in qualsiasi pubblicazione: …

12 machine-learning dimensionality-reduction tsne

5

Come eseguire l'imputazione dei valori in un numero molto elevato di punti dati?

Ho un set di dati molto grande e mancano circa il 5% di valori casuali. Queste variabili sono correlate tra loro. Il seguente set di dati R è solo un esempio di giocattolo con dati correlati fittizi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

1

Come scegliere un kernel per il kernel PCA?

Quali sono i modi per scegliere quale kernel comporterebbe una buona separazione dei dati nell'output finale dei dati dal kernel PCA (analisi dei componenti principali) e quali sono i modi per ottimizzare i parametri del kernel? I termini di Layman, se possibile, sarebbero molto apprezzati e anche i collegamenti a …

12 pca cross-validation dimensionality-reduction kernel-trick manifold-learning

4

Esecuzione di PCA con solo una matrice di distanza

Voglio raggruppare un enorme set di dati per il quale ho solo le distanze a coppie. Ho implementato un algoritmo k-medoids, ma ci vuole troppo tempo per essere eseguito, quindi vorrei iniziare riducendo la dimensione del mio problema applicando PCA. Tuttavia, l'unico modo che conosco per eseguire questo metodo è …

12 pca dimensionality-reduction multidimensional-scaling

1

A cosa serve t-SNE, a parte la visualizzazione dei dati?

In quali situazioni dovremmo usare t-SNE (oltre alla visualizzazione dei dati)? T-SNE viene utilizzato per la riduzione della dimensionalità. La risposta a questa domanda suggerisce che t-SNE dovrebbe essere usato solo per la visualizzazione e che non dovremmo usarlo per il clustering. Allora a che serve t-SNE?

12 data-visualization dimensionality-reduction tsne

Domande taggate «dimensionality-reduction»