Esaminando oltre RAID per cluster di dischi in un server, Dynamic Disk Pool è comparabile? [chiuso]

Con lo sviluppo di sistemi hyperconverged, possiamo vedere altre tecnologie oltre a RAID per gestire l'archiviazione distribuita (come ad esempio ceph per esempio o VSAN o archiviazione distribuita come in nutanix).

Ma esiste una tecnologia open source derivata dall'archiviazione di oggetti che posso usare su un singolo server con un sacco di grandi dischi, diciamo una dozzina di 12 su disco sata, che garantirà la sicurezza dei dati ma senza lo svantaggio di enormi tempi di ricostruzione quando si sostituisce un disco. Quindi Dynamic Disk Pool è una forma di RAID dis-cluster che può essere utilizzato a livello di blocco come iscsi o a livello di filesystem come zfs o brtrfs.

Vorrei fornire qualcosa di simile in funzionalità a un alloggiamento SYNOLOGY (NFS, target iscsi, SMB) ma senza RAID per l'archiviazione dei blocchi.

grazie per le tue indicazioni.

raid hard-drive storage

— Dominix
fonte

Hai considerato (ad esempio) un array RAID 5 con una sesta unità come hot spare?

— Mike Waters,

Tutti raccomandano di non usare RAID5 per grandi volumi. Tra raid5 non significano 5 dischi. Sì, si consiglia l'hot spare, tuttavia ho già avuto problemi con l'hot spare, a volte l'hot spare è morto perché hanno girato per anni prima di essere utilizzato.

— dominix

Hai bisogno di più dischi. L'unica soluzione per ricostruire il ritardo è una maggiore ridondanza. Anche i codici di cancellazione.

— Dan D.

Risposte:

Per un singolo sistema, suggerirei davvero di utilizzare array RAID ben conosciuti ed efficienti. I negozi di oggetti hanno una significativa penalizzazione delle prestazioni rispetto al classico accesso a blocchi / file e, se non ridimensioni, perdi molti dei loro benefici.

Detto questo, escludendo il RAID classico hai le seguenti possibilità:

senza paura , che utilizza un approccio di replica a livello di file anziché uno a livello di blocco
glusterfs , configurando un mattone diverso per ogni disco e applicando una replica 2politica
zfs che, sebbene basato su blocchi, non è identico al 100% al RAID software o hardware classico

Si noti inoltre che la memorizzazione degli oggetti non garantisce tempi di ricostruzione inferiori; al contrario, affronta ricostruzioni lunghe garantendo politiche di replica più forti (ovvero: replica 3su rack diversi).

— shodanshok
fonte

Il grande vantaggio di ZFS nel mio libro è che può effettivamente dirti quali file, se presenti, sono stati danneggiati; e se riesci a leggerli, sai che non sono corrotti. (Tranne se lo hai fatto zfs set checksum=off, ma non riesco a immaginare perché qualcuno debba eseguire ZFS e farlo.) Anche in assenza di ridondanza dello spazio di archiviazione, questo può essere un grande vantaggio perché saprai esattamente quale dei tuoi ... , fogli di calcolo importanti ... devono essere ripristinati dal backup.

— un CVn

"ciò garantirà la sicurezza dei dati ma senza l'inconveniente di enormi tempi di ricostruzione durante la sostituzione di un disco"

Hai un'illusione nel pensare che il software possa cambiare la realtà, cioè la fisica. I tempi di ricostruzione di Hugh si riducono essenzialmente alla necessità di scrivere un disco completo e se si scrivono 2 TB di informazioni su un disco, ci vuole molto tempo PERCHÉ È QUELLO CHE HANNO IL DISCO. Soprattutto se DEVI leggere più dischi per ottenere i dati mancanti nel primo pleace (Raid 5,6 analogico). Ci sono dettagli su come può essere un software "stupido" (cioè aggiungere tempo al di sopra del minimo fisico), ma il minimo è già ore se si parla di dischi SATA grandi e lenti.

Tutte le altre tecnologie che menzioni devono aderire allo stesso problematico tempo che vuoi evitare a causa della fisica.

E non aiuta il fatto che la rete del cluster, se si esegue la replica della rete, utilizza 10g o meno (che è il caso più probabile) invece di andare 40g o 100g.

— TomTom
fonte

Il mio datore di lavoro crea un analizzatore di rete che è essenzialmente un PC standard con schede NIC standard 2 * 100 GbE che analizza il traffico di streaming video non compresso in tempo reale. Quindi, non è del tutto bizzarro, ma pragmaticamente, sì, la velocità della rete sarà probabilmente un ulteriore collo di bottiglia.

— Jörg W Mittag,

Bene, i miei server sono tutti di 2x100gb in questi giorni, ma poi il reparto IT del mio cliente principale vende la velocità della rete di back-end da 1 GB (!) Come "ad alte prestazioni". Il mondo sembra funzionare su prople che non sa nemmeno cosa sia la fascia alta.

— TomTom

Il tempo di ricostruzione non sarebbe drasticamente ridotto se tutti i dischi fossero SSD?

— Mike Waters,

Dipende. Ok, no - sì, sarebbe ridotto, ma anche SATA supera i 600mb / se se si esegue una rete iperconvergente, ciò significa anche che deve passare attraverso la rete. E non hai nemmeno bisogno di tutti gli SSD: una cache SSD decente dovrebbe anche aiutare con la lettura e la scrittura (utilizzo la cache SSD da 3,6 GB su ogni server). Ma davvero hai bisogno di una spina dorsale per gestire questo, quindi.

— TomTom

Mike ha detto SSD, non SATA. Esistono alcuni SSD collegati a PCIe che sono più veloci di 600 MB / s.

— Peter Cordes,