Statistiche e Big Data clustering

2

Esiste una funzione in R che prende i centri dei cluster che sono stati trovati e assegna i cluster a un nuovo set di dati

Ho due parti di un set di dati multidimensionale, chiamiamole trainetest . E voglio costruire un modello basato sul set di dati del treno e quindi convalidarlo sul set di dati di test. Il numero di cluster è noto. Ho provato ad applicare il clustering k-mean in R e ho …

14 r clustering k-means

4

k-significa implementazione con matrice di distanza personalizzata in input

Qualcuno può indicarmi un'implementazione di k-mean (sarebbe meglio se in MATLAB) che può prendere la matrice di distanza in input? L'implementazione di matlab standard richiede la matrice di osservazione in input e non è possibile modificare in modo personalizzato la misura della somiglianza.

14 clustering matlab k-means

5

Clustering (k-significa, o altro) con un vincolo di dimensione minima del cluster

Devo raggruppare le unità in cluster per minimizzare la somma dei quadrati all'interno del gruppo (WSS), ma devo assicurarmi che i cluster contengano almeno unità. Qualche idea se una qualsiasi delle funzioni di clustering di R consenta il clustering in cluster soggetti a un vincolo di dimensione minima del cluster? …

14 r clustering

5

Come posso convertire la distanza (euclidea) in punteggio di somiglianza

Sto usando kkk significa raggruppare per raggruppare le voci dei relatori. Quando confronto un'enunciazione con i dati degli altoparlanti raggruppati ottengo una distorsione media (basata sulla distanza euclidea). Questa distanza può essere nell'intervallo di [0,∞][0,∞][0,\infty] . Voglio convertire questa distanza in un punteggio di somiglianza [0,1][0,1][0,1] . Per favore guidami …

13 clustering k-means distance euclidean

1

Lo stato dell'arte nella deduplicazione

Quali sono i metodi all'avanguardia nella deduplicazione record? La deduplicazione viene talvolta chiamata: collegamento dei record, risoluzione dell'entità, risoluzione dell'identità, unione / eliminazione. Conosco ad esempio CBLOCK [1]. Gradirei se le risposte includessero anche riferimenti a software esistenti che implementano i metodi. So per esempio che Mahout implementa il raggruppamento …

13 clustering data-cleaning record-linkage

1

Una routine per scegliere eps e minPts per DBSCAN

DBSCAN è l'algoritmo di clustering più citato secondo alcune pubblicazioni e può trovare cluster di forme arbitrari basati sulla densità. Ha due parametri eps (come raggio di vicinato) e minPts (come vicini minimi da considerare un punto come punto centrale) che credo dipenda fortemente da loro. Esiste un metodo di …

13 clustering dbscan

3

Cluster Big Data in R ed il campionamento è rilevante?

Sono nuovo nella scienza dei dati e ho un problema a trovare i cluster in un set di dati con 200.000 righe e 50 colonne in R. Dato che i dati hanno sia variabili numeriche che nominali, metodi come K-significa che usa la misura della distanza euclidea non sembra una …

13 r clustering sampling large-data

5

Tecniche di clustering appropriate per i dati temporali?

Ho dati temporali delle frequenze di attività. Voglio identificare i cluster nei dati che indicano periodi di tempo distinti con livelli di attività simili. Idealmente, voglio identificare i cluster senza specificare il numero di cluster a priori. Quali sono le tecniche di clustering appropriate? Se la mia domanda non contiene …

13 machine-learning clustering

4

Inizializzazione di centri K-media mediante sottocampioni casuali del set di dati?

Se ho un determinato set di dati, quanto sarebbe intelligente inizializzare i centri di cluster usando i campioni casuali di quel set di dati? Ad esempio, supponiamo che io voglia 5 clusters. Prendo 5 random samplesdi dire, size=20%del dataset originale. Potrei quindi prendere la media di ciascuno di questi 5 …

13 clustering k-means unsupervised-learning

2

Utilizzo del test di significatività statistica per convalidare i risultati dell'analisi dei cluster

Sto esaminando l'uso del test di significatività statistica (SST) per convalidare i risultati dell'analisi dei cluster. Ho trovato diversi articoli su questo argomento, come ad esempio " Significato statistico del clustering per dati di dimensioni elevate, dimensioni ridotte del campione " di Liu, Yufeng et al. (2008) " Su alcuni …

13 hypothesis-testing clustering statistical-significance

2

Comprensione dei confronti dei risultati del clustering

Sto sperimentando la classificazione dei dati in gruppi. Sono abbastanza nuovo su questo argomento e sto cercando di capire l'output di alcune analisi. Utilizzando esempi tratti da Quick-R , Rvengono suggeriti diversi pacchetti. Ho provato a usare due di questi pacchetti ( fpcusando la kmeansfunzione e mclust). Un aspetto di …

13 r clustering

1

LARS vs discesa delle coordinate per il lazo

Quali sono i pro e i contro dell'utilizzo di LARS [1] rispetto all'utilizzo della discesa delle coordinate per l'adattamento della regressione lineare regolarizzata L1? Sono principalmente interessato agli aspetti prestazionali (i miei problemi tendono ad avere Ntra le centinaia di migliaia e p<20). Tuttavia, anche altre intuizioni sarebbero apprezzate. modifica: …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

4

La disuguaglianza del triangolo è rispettata per queste distanze basate sulla correlazione?

Per il clustering gerarchico vedo spesso le seguenti due "metriche" (non stanno esattamente parlando) per misurare la distanza tra due variabili casuali e : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) & = 1- | \ Cor (X, Y) |, \\ D_2 (X, Y) …

13 correlation clustering distance metric

4

Cosa fai quando non c'è un punto a gomito per il raggruppamento dei kmean

Ho imparato che quando si sceglie un numero di cluster, si dovrebbe cercare un punto a gomito per diversi valori di K. Ho tracciato i valori di withinss per valori di k da 1 a 10, ma non vedo un chiaro gomito. Cosa fai in un caso come questo?

13 clustering k-means

3

Devo eliminare le variabili correlate / collineari prima di eseguire i kmean?

Sto correndo chilometri per identificare gruppi di clienti. Ho circa 100 variabili per identificare i cluster. Ognuna di queste variabili rappresenta la percentuale di spesa di un cliente in una categoria. Quindi, se ho 100 categorie, ho queste 100 variabili in modo tale che la somma di queste variabili sia …

13 clustering data-mining k-means multicollinearity compositional-data

Domande taggate «clustering»