Statistiche e Big Data clustering

3

Clustering distribuzioni di probabilità - metodi e metriche?

Ho alcuni punti dati, ognuno contenente 5 vettori di risultati discreti agglomerati, i risultati di ogni vettore generati da una diversa distribuzione (il tipo specifico di cui non sono sicuro, la mia ipotesi migliore è Weibull, con parametri di forma che variano da qualche parte attorno all'esponenziale alla potenza legge …

13 distributions clustering feature-selection kolmogorov-smirnov k-means

2

In che modo la distanza di Gower calcola la differenza tra variabili binarie?

Ho 17 variabili numeriche e 5 binarie (0-1), con 73 campioni nel mio set di dati. Devo eseguire un'analisi del cluster. So che la distanza di Gower è una buona metrica per set di dati con variabili miste. Tuttavia, non riuscivo a capire come la distanza di Gower calcola la …

13 clustering distance mixed-type-data

1

k-means || alias K-Means scalabili ++

Bahman Bahmani et al. introdotto k-mean ||, che è una versione più veloce di k-mean ++. Questo algoritmo è tratto da pagina 4 del loro articolo , Bahmani, B., Moseley, B., Vattani, A., Kumar, R., e Vassilvitskii, S. (2012). K-medie scalabili ++. Atti del VLDB Endowment , 5 (7), 622-633. …

12 clustering k-means

5

Come eseguire l'imputazione dei valori in un numero molto elevato di punti dati?

Ho un set di dati molto grande e mancano circa il 5% di valori casuali. Queste variabili sono correlate tra loro. Il seguente set di dati R è solo un esempio di giocattolo con dati correlati fittizi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

4

Riesci a confrontare diversi metodi di clustering su un set di dati senza verità di base mediante validazione incrociata?

Attualmente, sto cercando di analizzare un set di dati di documenti di testo che non ha fondamento. Mi è stato detto che puoi usare la validazione incrociata di k-fold per confrontare diversi metodi di clustering. Tuttavia, gli esempi che ho visto in passato usano una verità fondamentale. Esiste un modo …

12 machine-learning clustering cross-validation unsupervised-learning

5

Posso usare PCA per selezionare le variabili per l'analisi dei cluster?

Devo ridurre il numero di variabili per condurre un'analisi del cluster. Le mie variabili sono fortemente correlate, quindi ho pensato di fare un PCA di analisi fattoriale (analisi dei componenti principali). Tuttavia, se uso i punteggi risultanti, i miei cluster non sono del tutto corretti (rispetto alle precedenti classificazioni in …

12 clustering pca feature-selection factor-analysis

2

Clustering dei dati spaziali in R

Ho una serie di dati mensili sulla temperatura della superficie del mare (SST) e voglio applicare una metodologia di cluster per rilevare regioni con modelli SST simili. Ho una serie di file di dati mensili che vanno dal 1985 al 2009 e voglio applicare il clustering ogni mese come primo …

12 r clustering spatial

6

Libri o articoli consigliati come introduzione all'analisi dei cluster?

Sto lavorando a un piccolo corpus di testo (200 M), che voglio esplorare con alcune analisi di cluster. Quali libri o articoli su quell'argomento consiglieresti?

12 machine-learning references clustering

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Interpretazione del risultato del clustering di k-media in R

Stavo usando le kmeansistruzioni di R per eseguire l'algoritmo k-mean sul set di dati dell'iride di Anderson. Ho una domanda su alcuni parametri che ho ottenuto. I risultati sono: Cluster means: Sepal.Length Sepal.Width Petal.Length Petal.Width 1 5.006000 3.428000 1.462000 0.246000 In questo caso, cosa significa "Cluster significa"? È la media …

12 r machine-learning clustering interpretation k-means

1

Metodo cluster affidabile per dati misti in R

Sto cercando di raggruppare un piccolo set di dati (64 osservazioni di 4 variabili di intervallo e una singola variabile categoriale a tre fattori). Ora sono abbastanza nuovo nell'analisi dei cluster, ma sono consapevole che ci sono stati progressi considerevoli dai tempi in cui il clustering gerarchico o i k-media …

12 clustering model-based-clustering mixed-type-data

3

Come posso verificare se il mio raggruppamento di dati binari è significativo

Sto facendo analisi del carrello della spesa il mio set di dati è un insieme di vettori di transazione, con gli articoli che i prodotti vengono acquistati. Quando si applicano i mezzi k sulle transazioni, otterrò sempre dei risultati. Una matrice casuale mostrerebbe probabilmente anche alcuni cluster. C'è un modo …

12 clustering statistical-significance binary-data

1

Assegnare pesi alle variabili nell'analisi dei cluster

Voglio assegnare pesi diversi alle variabili nell'analisi del mio cluster, ma il mio programma (Stata) non sembra avere un'opzione per questo, quindi devo farlo manualmente. Immagina 4 variabili A, B, C, D. I pesi per quelle variabili dovrebbero essere w(A)=50% w(B)=25% w(C)=10% w(D)=15% Mi chiedo se uno dei due seguenti …

12 clustering stata

1

Cosa fare quando la matrice di covarianza del campione non è invertibile?

Sto lavorando ad alcune tecniche di clustering, in cui per un determinato cluster di vettori di dimensione D presumo una distribuzione normale multivariata e calcolo il vettore medio d-dimensionale del campione e la matrice di covarianza del campione. Quindi, quando provo a decidere se un nuovo vettore invisibile, d-dimensionale appartiene …

12 clustering multivariate-analysis covariance covariance-matrix matrix-inverse

2

Come faccio a sapere se il mio algoritmo di clustering k-dire soffre della maledizione della dimensionalità?

Credo che il titolo di questa domanda dica tutto.

12 clustering k-means high-dimensional

Domande taggate «clustering»