Come visualizzare i dati di serie storiche di grandi dimensioni in modo interattivo?


10

Mi occupo spesso di dati di serie storiche di dimensioni ragionevoli, 50-200 milioni di raddoppia con i timestamp associati e vorrei visualizzarli dinamicamente.

Esiste un software esistente per farlo efficacemente? Che ne dici di librerie e formati di dati? Zoom-cache è un esempio di libreria focalizzata su grandi serie storiche. In Zoom-cache i dati sono riepilogati con diverse risoluzioni per rendere più semplice la visualizzazione con risoluzioni diverse.

Modifica: anche se c'è altro dovrei porre questa domanda o cercare una risposta per favore fatemelo sapere.


1
Anche se non ho idea di come si ridimensionerà con un numero così elevato di punti dati, potresti dare un'occhiata a Cubism.js .
chl

Ho dato un'occhiata al cubismo, che sembra buono per l'aggiornamento progressivo di grafici da flussi seriali di dati, ma con la mia breve ricerca non ho visto nulla sulla memorizzazione nella cache di più risoluzioni o dati di riepilogo per accelerare grandi set di dati. Questo è per il puntatore anche se sembra una libreria interessante.
Davorak,

1
Potresti essere interessato a Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Il loro prezzo è piuttosto alto però.
chhantyal,

@chhantyal - Grazie! Sembra il tipo di strumento che stavo cercando. Anche se non sto più lavorando con gli stessi set di dati, sono ancora interessato allo spazio, quindi probabilmente proverò la traccia di zoomdata ad un certo punto.
Davorak,

Risposte:


2

Esistono una serie di strumenti di ricerca chiamati TimeSearcher 1--3 che forniscono alcuni esempi su come gestire set di dati di grandi serie temporali. Di seguito sono riportate alcune immagini di esempio di TimeSearcher 2 e 3.

TimeSearcher 2

TimeSearcher 3


2

Ci scusiamo per l'auto-pubblicità, ma Thunderplot (thunderplot.com) sarebbe un buon candidato per questo. L'ho scritto esattamente per la stampa interattiva di grandi set di dati. Non l'ho testato con set di dati di righe da 200KK, ma funziona bene con ~ 10KK righe. Inoltre, c'è la funzione "leggi ogni ennesima riga", quindi puoi ridurre la quantità di dati da archiviare / visualizzare. Posso inviarti la chiave di registrazione in cambio di uno di quei set di dati di grandi dimensioni. :-)

screenshot di thunderplot


0

Un altro post autopromozione perché lavoro per questa azienda, ma SensorCloud (sensorcloud.com) utilizza algoritmi intelligenti per rappresentare graficamente set di dati di grandi dimensioni molto rapidamente. È stato originariamente progettato pensando ai nostri sensori fisici, ma ha un uploader CSV per gestire tutti i dati della serie.

Ad esempio, abbiamo caricato un set di dati con 100 miliardi di punti dati (oltre 1 terabyte di data e ora + valori dati) e puoi rappresentarlo graficamente e interagire con esso molto rapidamente.

Ecco un link pubblico a quel set di dati: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Il link sopra utilizza il nostro visualizzatore flash. Se non si desidera utilizzare Flash, ecco il visualizzatore javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Utilizzare la rotella di scorrimento o Maiusc + clic sinistro per ingrandire.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.