Statistiche e Big Data svd

3

Cholesky contro eigendecomposition per estrarre campioni da una distribuzione normale multivariata

Vorrei disegnare un campione x∼N(0,Σ)x∼N(0,Σ)\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right) . Wikipedia suggerisce di usare una composizione Cholesky o Eigendec , cioè Σ=D1DT1Σ=D1D1T \mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T o Σ=QΛQTΣ=QΛQT \mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T E quindi il campione può essere disegnato tramite: x=D1vx=D1v \mathbf{x} = \mathbf{D}_1 \mathbf{v} oppure x=QΛ−−√vx=QΛv \mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v} dove …

16 normal-distribution random-generation svd cholesky

2

Quando uniamo la riduzione della dimensionalità al clustering?

Sto cercando di eseguire il clustering a livello di documento. Ho costruito la matrice di frequenza dei termini-documento e sto cercando di raggruppare questi vettori ad alta dimensione usando k-medie. Invece di raggruppare direttamente, quello che ho fatto è stato prima applicare la decomposizione vettoriale singolare di LSA (Latent Semantic …

16 clustering pca dimensionality-reduction text-mining svd

1

Autofunzioni di una matrice di adiacenza di una serie temporale?

Considera una serie temporale semplice: > tp <- seq_len(10) > tp [1] 1 2 3 4 5 6 7 8 9 10 possiamo calcolare una matrice di adiacenza per questa serie temporale che rappresenta i collegamenti temporali tra i campioni. Nel calcolare questa matrice aggiungiamo un sito immaginario al tempo …

15 time-series matrix-decomposition svd

1

GSVD implementa tutte le tecniche lineari multivariate?

Mi sono imbattuto nell'articolo di Hervé Abdi sull'SVD generalizzato. L'autore ha menzionato: La SVD generalizzata (GSVD) decompone una matrice rettangolare e tiene conto dei vincoli imposti alle righe e alle colonne della matrice. Il GSVD fornisce una stima del minimo quadrato generalizzato ponderato di una data matrice da una matrice …

15 multivariate-analysis svd

3

Quali sono le differenze tra analisi semantica latente (LSA), indicizzazione semantica latente (LSI) e decomposizione a valore singolare (SVD)?

Questi termini vengono spesso messi insieme, ma vorrei sapere quali pensi siano le differenze, se ce ne sono. Grazie

15 pca text-mining svd

3

Quali algoritmi veloci esistono per il calcolo dell'SVD troncato?

Forse fuori tema qui, ma esistono già diverse ( una , due ) domande correlate. Frugando in letteratura (o una ricerca su google per algoritmi SVD troncati ) si presentano molti documenti che usano SVD troncati in vari modi e affermano (frustrantemente, spesso senza citazione) che ci sono algoritmi veloci …

14 algorithms svd numerics

2

Per una matrice casuale, un SVD non dovrebbe spiegare nulla? Che cosa sto facendo di sbagliato?

Se costruissi una matrice 2D composta interamente da dati casuali, mi aspetterei che i componenti PCA e SVD non spieghino sostanzialmente nulla. Invece, sembra che la prima colonna SVD sembra spiegare il 75% dei dati. Come può essere possibile? Che cosa sto facendo di sbagliato? Ecco la trama: Ecco il …

13 r pca svd

1

Perché le decomposizioni eigen e svd di una matrice di covarianza basata su dati sparsi producono risultati diversi?

Sto cercando di scomporre una matrice di covarianza basata su un set di dati sparsi / vuoti. Sto notando che la somma di lambda (spiegazione della varianza), calcolata con svd, viene amplificata con dati sempre più vuoti. Senza lacune svde eigenottieni gli stessi risultati. Ciò non sembra accadere con una …

12 r svd eigenvalues

3

SVD di una matrice con valori mancanti

Supponiamo di avere una matrice di consigli in stile Netflix e di voler costruire un modello che preveda potenziali valutazioni future sui film per un determinato utente. Usando l'approccio di Simon Funk, si userebbe la pendenza stocastica del gradiente per ridurre al minimo la norma di Frobenius tra la matrice …

12 svd recommender-system

1

Differenza tra implementazioni di scikit-learning di PCA e TruncatedSVD

Comprendo la relazione tra l'analisi delle componenti principali e la decomposizione del valore singolare a livello algebrico / esatto. La mia domanda riguarda l' implementazione di scikit-learn . La documentazione dice: " [TruncatedSVD] è molto simile al PCA, ma opera direttamente sui vettori di campione, anziché su una matrice di …

12 pca scikit-learn svd scipy

1

Come disegnare una trama ghiaione in Python? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso l'anno scorso . Sto usando una decomposizione vettoriale singolare su una matrice e ottengo le matrici U, S e Vt. A …

11 data-visualization python svd

1

Perché la non negatività è importante per i sistemi di filtro / raccomandazione collaborativi?

In tutti i moderni sistemi di raccomandazione che ho visto che si basano sulla fattorizzazione a matrice, viene eseguita una fattorizzazione a matrice non negativa sulla matrice di film utente. Riesco a capire perché la non negatività sia importante per l'interpretazione e / o se si desidera avere fattori sparsi. …

11 recommender-system svd matrix-decomposition nnmf

1

Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?

Un modo per generare incorporamenti di parole è il seguente ( mirror ): Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo." Costruisci la parola matrice di occorrenza da essa: Esegui SVD su XXX e mantieni le prime kkk colonne di U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} …

11 natural-language svd mutual-information word-embeddings language-models

3

K-significa sulle somiglianze del coseno rispetto alla distanza euclidea (LSA)

Sto usando l'analisi semantica latente per rappresentare un corpus di documenti nello spazio dimensionale inferiore. Voglio raggruppare questi documenti in due gruppi usando k-mean. Diversi anni fa, l'ho fatto usando il gensim di Python e scrivendo il mio algoritmo k-mean. Ho determinato i centroidi del cluster usando la distanza euclidea, …

10 k-means svd lsa cosine-distance cosine-similarity

1

Valore “nascosto” della variabile categoriale della regressione lineare

Questo è solo un esempio che ho riscontrato più volte, quindi non ho dati di esempio. Esecuzione di un modello di regressione lineare in R: a.lm = lm(Y ~ x1 + x2) x1è una variabile continua. x2è categorico e ha tre valori, ad esempio "Basso", "Medio" e "Alto". Tuttavia, l'output …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

Domande taggate «svd»