150 TB e in crescita, ma come crescere?

Il mio gruppo attualmente ha due server di archiviazione di grandi dimensioni, entrambi NAS che eseguono debian linux. Il primo è un server all-in-one a 24 dischi (SATA) che ha diversi anni. Abbiamo due RAID hardware installati con LVM su quelli. Il secondo server è composto da 64 dischi suddivisi su 4 contenitori, ciascuno un RAID 6 hardware, collegato tramite SAS esterno. Usiamo XFS con LVM oltre che per creare storage utilizzabile da 100 TB. Tutto funziona abbastanza bene, ma stiamo superando questi sistemi. Avendo creato due server di questo tipo e continuando a crescere, vogliamo creare qualcosa che ci consenta una maggiore flessibilità in termini di crescita futura, opzioni di backup, che si comporti meglio in caso di guasto del disco (il controllo del filesystem più grande può richiedere un giorno o più) e può resistere in un ambiente fortemente concorrente (pensa a un piccolo cluster di computer). Non abbiamo supporto per l'amministrazione del sistema,

Quindi, quello che cerchiamo è una soluzione di archiviazione delle prestazioni accettabile relativamente a basso costo che consentirà una crescita futura e una configurazione flessibile (pensate a ZFS con pool diversi con caratteristiche operative diverse). Probabilmente siamo al di fuori del regno di un singolo NAS. Abbiamo pensato a una combinazione di ZFS (su openindiana, per esempio) o btrfs per server con glusterfs in esecuzione su di esso se lo facciamo da soli. Ciò su cui stiamo valutando è semplicemente mordere il proiettile e investire in soluzioni di archiviazione Isilon o 3Par.

Eventuali suggerimenti o esperienze sono apprezzati.

Spero che questo possa aiutare un po '. Ho cercato di non lasciare che si trasformasse in un intero muro di testo. :)

3PAR / Isilon

Se puoi e dedicherai un numero fisso di ore-uomo a qualcuno che assume il ruolo di amministratore della SAN e vuoi goderti una vita indolore con il sonno notturno invece del lavoro notturno, allora è così che andrei.

Una SAN ti consente di fare tutto ciò in cui un singolo "storage" ti limiterebbe (cioè connettere un array flash purestorage e un grande mostro sata 3par allo stesso server), ma devi anche pagare per mantenerlo ben mantenuto tutto il tempo se vuoi sfruttare la flessibilità.

alternative

Amplidata

Pro: scalabile, economico, progettato con un bel concetto e livelli di cache di lettura / scrittura dedicati. Questa potrebbe effettivamente essere la cosa migliore per te.

RisingTideOS

Il loro software di destinazione è ora utilizzato in quasi tutti gli archivi Linux e sta permettendo una gestione leggermente migliore di quanto potrebbe fare roba semplice per Linux / Gluster. (Imho) La versione commerciale potrebbe valere la pena dare un'occhiata.

Gluster / btrfs

PRO: scala e "mattoni" ti danno uno strato di astrazione che è molto buono per la gestione.

CON: Il primo è stato un PITA totale per me. Non era robusto e i guasti potevano essere locali per un mattone o eliminare tutto. Ora, con RedHat in controllo, potrebbe effettivamente trasformarsi in qualcosa che funziona e ho anche incontrato persone che possono domarlo in modo che funzioni per anni. E il secondo è ancora mezzo sperimentale. Normalmente un FS ha bisogno di 3-4 anni dopo che è "finito" fino a quando non è dimostrato e robusto. Se ti interessano i dati, perché mai dovresti prendere in considerazione questo? Parlando di sperimentale, il supporto commerciale di Ceph è quasi uscito ora, ma dovresti attenersi al livello "RBD", l'FS non è ancora abbastanza ben testato. Voglio chiarire però che Ceph è molto più attraente a lungo termine. :)

ZFS

Pro: Funzionalità che mettono sicuramente un chiodo nella bara di altre cose. Queste funzionalità sono ben progettate (pensa a L2ARC) e la compressione / dedup è divertente. Avere più "cluster di archiviazione" significa avere anche solo piccoli guasti invece di un grande boom consolidato

Contro: mantenere molte piccole scatole software invece di una vera memoria. È necessario integrarli e spendere ore per ottenere una configurazione affidabile.

La route XFS + LVM è in effetti una delle migliori opzioni per una soluzione di archiviazione su Linux pura scalata negli ultimi anni. Sono incoraggiato che ci sei già. Ora che hai bisogno di crescere di più, hai alcune opzioni in più a tua disposizione.

Come sapete, i grandi fornitori di hardware là fuori hanno testine NAS per il loro storage. Questo ti darebbe davvero un unico fornitore con cui collaborare affinché tutto ciò accada e funzionerebbe piuttosto bene. Sono soluzioni facili da inserire (rispetto al fai-da-te) e la loro manutenibilità è inferiore. Ma costano parecchio. Da un lato avrai più risorse ingegneristiche per risolvere i tuoi problemi principali piuttosto che i problemi di infrastruttura; d'altra parte, se sei come la maggior parte dei dipartimenti universitari, ho conosciuto che il potere umano è davvero economico rispetto al pagamento in contanti per le cose.

Seguendo il percorso fai-da-te hai già un buon apprezzamento delle opzioni fai-da-te disponibili. ZFS / BTRFS sono l'ovvio percorso di aggiornamento da XFS + LVM per l'archiviazione ridotta. Eviterei BTRFS fino a quando non verrà dichiarato 'stabile' nel kernel mainline di Linux, che dovrebbe essere abbastanza presto ora che molte delle principali distribuzioni gratuite lo usano come filesystem predefinito. Per ZFS, consiglierei di utilizzare una base BSD anziché OpenIndiana semplicemente perché è in circolazione da più tempo e ha i nodi (più) risolti.

Gluster è stato progettato per il caso d'uso che descrivi qui. Può eseguire la replica e presentare un singolo server virtuale con molta memoria allegata. I loro volumi distribuiti suonano esattamente quello che stai cercando, poiché diffondono i file su tutti i server di archiviazione sul volume dichiarato. È possibile continuare ad aggiungere server di archiviazione discreti per continuare ad espandere il volume visibile. Singolo spazio-nome!

Il problema con Gluster è che funziona meglio quando i tuoi clienti possono utilizzare Gluster Client per accedere al sistema piuttosto che alle opzioni CIFS o NFS. Dato che stai eseguendo un piccolo cluster di calcolo del cluster, potresti essere in grado di utilizzare il client GlusterFS.

Sei sulla strada giusta qui.

Per quanto ho capito, potresti usare una soluzione SAN basata su Linux SCST + FibreChannel o infiniband, che è qualcosa che sto costruendo in questo momento. Come base per i LUN è possibile utilizzare LVM su RAID hardware e occuparsi di snapshot / replica (ad esempio DRBD) al di sotto del livello del file system. Come file system non sono a conoscenza di alcuna buona soluzione per la concisione poiché sto mettendo ESXi in cima ai nodi, quindi i datastore sono gestiti da FS simultanei ESX. Penso che GFS2 potrebbe funzionare con quell'ambiente ma non sono sicuro al 100%, poiché dovresti verificare i tuoi requisiti precisi. Comunque, una volta che hai una SAN solida sotto i tuoi nodi, è abbastanza facile fare le cose.