Come tracciare l'output dei dati del clustering?


15

Ho provato a raggruppare un insieme di dati (un insieme di segni) e ho ottenuto 2 cluster. Vorrei rappresentarlo graficamente. Un po 'confuso sulla rappresentazione, dal momento che non ho le coordinate (x, y).

Inoltre, cerco la funzione MATLAB / Python per farlo.

MODIFICARE

Penso che pubblicare i dati renda la domanda più chiara. Ho due cluster che ho creato usando il clustering kmeans in Python (non usando scipy). Loro sono

class 1: a=[3222403552.0, 3222493472.0, 3222491808.0, 3222489152.0, 3222413632.0, 
3222394528.0, 3222414976.0, 3222522768.0, 3222403552.0, 3222498896.0, 3222541408.0, 
3222403552.0, 3222402816.0, 3222588192.0, 3222403552.0, 3222410272.0, 3222394560.0, 
3222402704.0, 3222298192.0, 3222409264.0, 3222414688.0, 3222522512.0, 3222404096.0, 
3222486720.0, 3222403968.0, 3222486368.0, 3222376320.0, 3222522896.0, 3222403552.0, 
3222374480.0, 3222491648.0, 3222543024.0, 3222376848.0, 3222403552.0, 3222591616.0, 
3222376944.0, 3222325568.0, 3222488864.0, 3222548416.0, 3222424176.0, 3222415024.0, 
3222403552.0, 3222407504.0, 3222489584.0, 3222407872.0, 3222402736.0, 3222402032.0, 
3222410208.0, 3222414816.0, 3222523024.0, 3222552656.0, 3222487168.0, 3222403728.0, 
3222319440.0, 3222375840.0, 3222325136.0, 3222311568.0, 3222491984.0, 3222542032.0, 
3222539984.0, 3222522256.0, 3222588336.0, 3222316784.0, 3222488304.0, 3222351360.0, 
3222545536.0, 3222323728.0, 3222413824.0, 3222415120.0, 3222403552.0, 3222514624.0, 
3222408000.0, 3222413856.0, 3222408640.0, 3222377072.0, 3222324304.0, 3222524016.0, 
3222324000.0, 3222489808.0, 3222403552.0, 3223571920.0, 3222522384.0, 3222319712.0, 
3222374512.0, 3222375456.0, 3222489968.0, 3222492752.0, 3222413920.0, 3222394448.0, 
3222403552.0, 3222403552.0, 3222540576.0, 3222407408.0, 3222415072.0, 3222388272.0, 
3222549264.0, 3222325280.0, 3222548208.0, 3222298608.0, 3222413760.0, 3222409408.0, 
3222542528.0, 3222473296.0, 3222428384.0, 3222413696.0, 3222486224.0, 3222361280.0, 
3222522640.0, 3222492080.0, 3222472144.0, 3222376560.0, 3222378736.0, 3222364544.0, 
3222407776.0, 3222359872.0, 3222492928.0, 3222440496.0, 3222499408.0, 3222450272.0, 
3222351904.0, 3222352480.0, 3222413952.0, 3222556416.0, 3222410304.0, 3222399984.0, 
3222494736.0, 3222388288.0, 3222403552.0, 3222323824.0, 3222523616.0, 3222394656.0, 
3222404672.0, 3222405984.0, 3222490432.0, 3222407296.0, 3222394720.0, 3222596624.0, 
3222597520.0, 3222598048.0, 3222403552.0, 3222403552.0, 3222403552.0, 3222324448.0, 
3222408976.0, 3222448160.0, 3222366320.0, 3222489344.0, 3222403552.0, 3222494480.0, 
3222382032.0, 3222450432.0, 3222352000.0, 3222352528.0, 3222414032.0, 3222728448.0, 
3222299456.0, 3222400016.0, 3222495056.0, 3222388848.0, 3222403552.0, 3222487568.0, 
3222523744.0, 3222394624.0, 3222408112.0, 3222406496.0, 3222405616.0, 3222592160.0, 
3222549360.0, 3222438560.0, 3222597024.0, 3222597616.0, 3222598128.0, 3222403552.0, 
3222403552.0, 3222403552.0, 3222499056.0, 3222408512.0, 3222402064.0, 3222368992.0, 
3222511376.0, 3222414624.0, 3222554816.0, 3222494608.0, 3222449792.0, 3222351952.0, 
3222352272.0, 3222394736.0, 3222311856.0, 3222414288.0, 3222402448.0, 3222401056.0, 
3222413568.0, 3222298848.0, 3222297184.0, 3222488000.0, 3222490528.0, 3222394688.0, 
3222408224.0, 3222406672.0, 3222404896.0, 3222443120.0, 3222403552.0, 3222596400.0, 
3222597120.0, 3222597712.0, 3222400896.0, 3222403552.0, 3222403552.0, 3222403552.0, 
3222299200.0, 3222321296.0, 3222364176.0, 3222602208.0, 3222513040.0, 3222414656.0, 
3222564864.0, 3222407904.0, 3222449984.0, 3222352096.0, 3222352432.0, 3222452832.0, 
3222368560.0, 3222414368.0, 3222399376.0, 3222298352.0, 3222573152.0, 3222438080.0, 
3222409168.0, 3222523488.0, 3222394592.0, 3222405136.0, 3222490624.0, 3222406928.0, 
3222407104.0, 3222442464.0, 3222403552.0, 3222596512.0, 3222597216.0, 3222597968.0, 
3222438208.0, 3222403552.0, 3222403552.0, 3222403552.0]

class 2: b=[3498543128.0, 3498542920.0, 3498543252.0, 3498543752.0, 3498544872.0, 
3498544528.0, 3498543024.0, 3498542548.0, 3498542232.0]

Vorrei complottarlo. Ho provato quanto segue e ho ottenuto il seguente risultato quando ho tracciato ae b.

pylab.plot(a,'x')
pylab.plot(b,'o')
pylab.show()

inserisci qui la descrizione dell'immagine

posso ottenere una migliore visualizzazione del clustering?


1
Dipende molto dal fatto che hai fatto il clustering :) Se mostri un piccolo esempio dei dati che hai sono sicuro che otterrai una risposta
David w

1
L'uso di colori e pennarelli diversi tende ad essere il più semplice / facile da leggere. Se tutto ciò che hai sono 2 cluster, puoi semplicemente stampare 0/1 o O / X per i diversi valori.
Marcin,

Ti preghiamo di dire cosa intendi con "un insieme di segni". Quante variabili hai con cui caratterizzare i cluster? Inoltre, sei sicuro che 2 sia il miglior numero di cluster da utilizzare? Molte volte è necessario utilizzare i programmi di analisi dei cluster in modo iterativo; all'inizio si potrebbero ottenere solo 2, ma con alcune regolazioni si potrebbe ottenere un numero più interessante e informativo.
rolando2,

Ho usato kmean dove devo dare esplicitamente il numero di cluster
user2721

@ user2721, potresti mostrarci come usi i kmean?
Sigur,

Risposte:


30

Di solito traccia i valori originali in un diagramma a dispersione (o in una matrice di grafici a dispersione se ne hai molti) e usi il colore per mostrare i tuoi gruppi.

Hai chiesto una risposta in Python e in realtà fai tutto il clustering e la trama con scipy, numpy e matplotlib:

Inizia creando alcuni dati

import numpy as np
from scipy import cluster
from matplotlib import pyplot

np.random.seed(123)
tests = np.reshape( np.random.uniform(0,100,60), (30,2) )
#tests[1:4]
#array([[ 22.68514536,  55.13147691],
#       [ 71.94689698,  42.31064601],
#       [ 98.07641984,  68.48297386]])

Quanti cluster?

Questa è la cosa difficile di k-mean, e ci sono molti metodi. Usiamo il metodo del gomito

#plot variance for each value for 'k' between 1,10
initial = [cluster.vq.kmeans(tests,i) for i in range(1,10)]
pyplot.plot([var for (cent,var) in initial])
pyplot.show()

Trama del gomito

Assegna le tue osservazioni alle classi e tracciale

Credo che l'indice 3 (ovvero 4 cluster) sia buono come un altro

cent, var = initial[3]
#use vq() to get as assignment for each obs.
assignment,cdist = cluster.vq.vq(tests,cent)
pyplot.scatter(tests[:,0], tests[:,1], c=assignment)
pyplot.show()

trama a dispersione

Cerca di capire dove puoi inserire tutto ciò che hai già fatto in quel flusso di lavoro (e spero che i tuoi cluster siano un po 'più belli di quelli casuali!)


La tua risposta è fantastica. Posso usarlo in modo efficiente per i miei dati. Impossibile trovare il tempo di provarlo.
user2721

@david w: questa è una delle migliori risposte che abbia mai visto! Grazie mille per aver pubblicato un esempio autonomo. Almeno capisco il nocciolo della tua risposta :) Grazie ancora!
Legenda

@david w: L'unica domanda che ho avuto è che il metodo del gomito mostra valori crescenti e la trama mostra una diminuzione. Questo perché stai usando i valori di distorsione direttamente dai kmean? Come posso convertire questo per assomigliare alla trama del gomito di Wikipedia? E come ultima domanda, ti capita di sapere come fare per kmeans2 invece di kmeans?
Legenda,

Hai scoperto l' indice 3 solo guardando alla prima trama?
Sigur,

2

Forse prova qualcosa come Fastmap per tracciare il tuo set di segni usando le loro distanze relative.

(ancora) niente di intelligente ha scritto Fastmap in Python per tracciare stringhe e potrebbe essere facilmente aggiornato per gestire elenchi di attributi se si scrivesse la propria metrica della distanza.

Di seguito è una distanza euclidea standard che uso che accetta due elenchi di attributi come parametri. Se i tuoi elenchi hanno un valore di classe, non utilizzarlo nel calcolo della distanza.

def distance(vecone, vectwo, d=0.0):
    for i in range(len(vecone)):
        if isnumeric(vecone[i]):
            d = d + (vecone[i] - vectwo[i])**2
        elif vecone[i] is not vectwo[i]:
            d += 1.0
    return math.sqrt(d)

def isnumeric(s):
    try:
        float(s)
        return True
    except ValueError:
        return False

0

Non sono un esperto di Python, ma è estremamente utile tracciare i primi 2 componenti principali l'uno contro l'altro sugli assi x, y.

Non sei sicuro di quali pacchetti stai usando, ma ecco un link di esempio:

http://pyrorobotics.org/?page=PyroModuleAnalysis


Non sono un esperto di statistica. Potresti spiegare di più sull'idea della trama?
user2721

L'idea di base è che molte variabili sono correlate tra loro e tutto può essere ridotto a due sole variabili non correlate tra loro e che spiegano "la maggior parte" della variazione dei dati. Devi leggere l'analisi dei componenti principali e applicare un pacchetto che ti permetta di implementarlo. it.wikipedia.org/wiki/Principal_component_analysis
Ralph Winters
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.