Come viene misurata la velocità del disco e cosa è veloce? Quanto dovrebbe durare una copia di 1500 GB?

Come viene misurata la velocità del disco? Si legge Mbit o Mbyte al secondo? Qual è la media oggi e cosa è veloce e cosa è molto veloce nel settore?

Diciamo che qualcuno dice che ci vuole molto tempo per fare una copia di un file di 1500 GB (diciamo un file di database), quanto tempo impiegherebbe un sistema professionale e come può essere calcolato tenendo conto della velocità del disco rigido ?

Le velocità del disco sono generalmente misurate;

• Velocità di rotazione in giri al minuto (minima a 4200 rpm, quindi 5400, 7200, 10k e 15k - questo non è applicabile agli SSD o alla memoria flash).
• La velocità dell'interfaccia è la più elevata che l'elettronica dei dischi possa provare a inviare i dati al controller del disco (questi vanno dai 100 Mbps di ATA ai 150/300/600 Mbps di SATA, i 2/4/8/16 Gbps di Fibre Channel e persino alle velocità PCIe per archiviazione basata su flash come FusionIO).
• Il tempo di ricerca è semplicemente il tempo necessario per iniziare a leggere o scrivere un particolare settore del disco, che può variare da 3-15 ms per i dischi a una piccola parte di questo per i dischi SSD / flash.
• Quindi arriviamo alla velocità effettiva che ci si può aspettare, ci sono quattro velocità di cui dovresti preoccuparti; lettura sequenziale (lettura di un blocco molto grande di dati), scrittura sequenziale (stessa ma in scrittura), lettura casuale (acquisizione di dati da tutto il disco) e scrittura casuale. Questi variano enormemente ma per i dischi rotanti ci si può aspettare qualcosa da 25 Mbps a 150 Mbps per lettura e scrittura sequenziale e qualsiasi cosa da 3 Mbps a 50 Mbps per lettura e scrittura casuali. Gli SSD sono in genere nella gamma di 200 Mbps per sequenziali e di solito un po 'meno per operazioni casuali. FusionIO può facilmente raggiungere 1 GBps per tutti, ma in genere è piccolo e costoso.

Come puoi vedere, non esiste una media reale, se desideri consigli su cosa acquistare, non esitare a tornare con quante più informazioni possibili : ciò dovrebbe includere budget, tipo di applicazione, dimensioni del set di dati, base utenti , hardware / sistema operativo e qualsiasi altra cosa che ritieni possa essere utile.

Per quanto riguarda la tua copia da 1,5 TB, beh, se lo facessi su un disco SATA da 7200 rpm USB 2 collegato, dovresti ottenere almeno 30 MB-40 Mbps o così l'intero 1,5 TB potrebbe richiedere più di 10 ore circa. Se questo fosse un tipico sistema DAS / SAN professionale mi aspetterei in una regione di 100 Mbps, il che richiederebbe circa 3 ore.

Spero che questo aiuti, oh e solo per chiarire, MB = megabyte, Mb sono megabit.

Ci sono molte, molte variabili coinvolte in questo tipo di calcoli. I sistemi di dischi del mondo reale hanno molte interdipendenze. Solo all'interno di un singolo computer:

• Velocità nominale effettiva dell'azionamento stesso (generalmente RPM, 5200, 7200, 10K, 15K)
• Il file system in uso
• Indica se è in uso un sistema RAID
  • In tal caso, le prestazioni della scheda RAID
  • Il tipo di RAID
• Il sistema operativo in uso
• Le operazioni di lettura e scrittura hanno caratteristiche prestazionali completamente diverse
• Il rapporto lettura / scrittura per le operazioni
• Per le operazioni sequenziali, il fattore di frammentazione dell'archiviazione

Come puoi vedere, la velocità di un disco stesso è solo uno dei molti fattori. È un fattore importante, ma è ancora uno dei tanti. Se quella copia da 1,5 TB si trova sullo stesso disco, il disco eseguirà (probabilmente il 95%) una prestazione di lettura / scrittura casuale al 100%, che generalmente si traduce nelle peggiori metriche delle prestazioni. Se la copia proviene da un disco a un altro e i dati sono sequenziali al 100% e il disco di destinazione è completamente vuoto, ciò dovrebbe fornire le prestazioni più veloci possibili con questo sottosistema di dischi. Le prestazioni del mondo reale saranno da qualche parte tra questi due estremi.

Se stai copiando tra due server separati, ci sono ancora più fattori coinvolti.

Ho un array di archiviazione al lavoro in grado di saturare i canali SAS 3Gb (gigaBIT) quando eseguo operazioni in gran parte sequenziali. Se avessi un SAS da 6Gb probabilmente potrebbe avvicinarsi molto anche a saturare quelli. Per l'I / O casuale questo particolare sistema funziona in modo molto diverso in base a ciò che è il sistema operativo (OpenSolaris, ad esempio, aveva il peggior I / O casuale e Linux XFS il migliore di un fattore 3).

Ci sono troppe variabili per rispondere definitivamente a queste domande.

Il tempo necessario per copiare 1,5 TB di dati dipende molto dal tipo di dati. Se hai qualche file da 1.500 1GB, probabilmente ci vorranno solo poche ore, ma se hai un miliardo e mezzo di file da 1KB probabilmente ci vorranno giorni.

Ciò è dovuto a due specifiche contrapposte sui dischi: la velocità effettiva e il tempo medio di accesso. Un disco tradizionale con un throughput di 100 MB / sec e un tempo di accesso di 10 ms è abbastanza comune. Se è possibile eseguire lo streaming di dati in sequenza, è possibile ottenere 100 MB / sec. Tuttavia, se devi saltare in un altro posto ci vogliono 10ms. Se avessi trasmesso in streaming, avresti potuto scrivere 1 MB di dati nel tempo necessario per passare a un'altra posizione.

La creazione di un file può richiedere diverse ricerche, quindi la creazione di un file da 1 KB può "costare" quanto lo streaming di diversi MB di dati.

Quindi, in alcuni casi è meglio fare una copia del disco grezzo del dispositivo a blocchi piuttosto che copiarla nel file system tramite qualcosa come rsync. Se hai molti file, in un file system che è, per esempio, pieno al 50% o più, spesso stai meglio copiando il dispositivo a blocco completo tramite "dd", per quanto tempo ci vuole. Ovviamente, non è possibile farlo mentre il file system è montato, quindi anche questo ha degli svantaggi.

Gli SSD possono aiutare a mitigare questo, perché i loro tempi di accesso sono circa 100 volte più veloci, ma le unità SSD MLC hanno problemi di accesso complicati a seconda della disponibilità di un pool di blocchi pre-cancellati. Gli SSD SLC possono aiutare questo.

I controller RAID con cache integrata possono aiutare nelle ricerche, così come qualcosa come il modulo del kernel flashcache che consente di memorizzare nella cache un dispositivo a blocchi tramite un SSD.

I sistemi RAID possono consentire più ricerche parallele, riducendo efficacemente il tempo medio di accesso e anche parallelizzazione per aumentare il throughput. Ma le prestazioni complessive dipenderanno spesso da quanti file sono coinvolti.