Consigli generali su una soluzione di archiviazione. ~ 15 TB e in crescita.


9

Ho bisogno di un sistema di archiviazione e archiviazione migliore per i file della mia piccola impresa. In particolare i file sono progetti video completati. Al di là dei limiti di tempo e costi, ciò che mi trattiene è che non credo in nessuna delle soluzioni su cui ho riflettuto. Pertanto sto ponendo tutto il problema e i miei pensieri. Gradirei qualsiasi opinione.

Budget: credo nel spendere ciò che serve. Detto questo, siamo una piccola impresa. Spero di poter uscire da questo per <5k e più circa 1-3k. Potrebbe essere un sogno irrealizzabile. Dimmelo e basta.

Il problema:

  • I file video non elaborati hanno dimensioni enormi. Finora abbiamo accumulato probabilmente 10+ TB e questo sta crescendo rapidamente.
  • L'editing video richiede un rapido accesso in lettura / scrittura ai file, quindi un file server centrale o basato su cloud non sarà abbastanza veloce. Pertanto probabilmente abbiamo bisogno di una soluzione per realizzare vecchi progetti e i progetti attuali dovranno rimanere locali.
  • Vogliamo una sorta di ridondanza e soluzione offsite.

Cosa facciamo attualmente:

  • Utilizziamo dischi rigidi esterni di alta qualità.
  • Acquistiamo sempre in coppia e dupliciamo manualmente il contenuto. In altre parole, ci separiamo da uno e dupliciamo i file nell'altro che serve da backup / fallback.
  • Questi HD sono abbastanza veloci con firewire800 o USB3 per funzionare direttamente.
  • Una volta riempito, mettiamo da parte la coppia.

Cosa c'è che non va nella soluzione attuale:

  • Sebbene i dati vengano duplicati su due unità, queste unità non vengono "salvate in backup" o archiviate fuori sede.
  • L'organizzazione attraverso questi molti HD esterni è difficile. Quale progetto è su quale unità? eccetera.
  • Alla fine avremo una quantità ridicola di dischi rigidi.
  • La duplicazione non è RAID.

Opzioni:

Un server locale

  • Acquista un server per montaggio su rack e un contenitore per array di dischi rigidi montato su rack, come un Norco, (SAS) (20 alloggiamenti).
  • Tutti i file video verranno archiviati su questo server. Potremmo installare e pagare un servizio cloud per eseguire il backup di questo computer / server. CrashPlan funziona su Linux e non ha limiti sulla quantità di dati. I dischi rigidi sarebbero unità fisiche connesse al server in modo da aggirare le regole "senza NAS" che aziende come CrashPlan hanno. Non è un personal computer, quindi la sincronizzazione può essere eseguita 24/7/365. Ciò risolverebbe il problema fuori sede.
  • Invece di utilizzare un servizio di backup online come CrashPlan, potremmo scrivere uno script per sincronizzare questi file con un account Amazon Glacier.
  • Una politica secondo cui il video fa uscire il lavoro dai dischi rigidi esterni per i progetti attuali ma deve completare il progetto su questo nuovo computer al termine. In altre parole, continuare a utilizzare dischi rigidi esterni per i progetti correnti e archiviare i progetti archiviati su questo server.

Servizi di backup basati su cloud (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • In genere, consente di eseguire il backup solo di un disco rigido esterno collegato fisicamente a un computer. (nessun NAS o unità di rete).
  • In genere si aspettano che un'unità esterna di cui è stato eseguito il backup rimanga connessa al computer e che tutti i dati rimangano sull'unità. Se non si collega un hard disk esterno per mesi, cosa succede ai backup? Se ripulisci lo spazio eliminando i vecchi progetti, verranno eliminati anche dal servizio online.
  • Richiede ai nostri utenti di lasciare i dischi rigidi esterni collegati al proprio computer fino a quando tutti i dati non sono nel cloud. Questo può richiedere settimane per un grande progetto.
  • Il ripristino di un progetto sarebbe molto lento a causa della velocità di trasferimento di Internet.
  • Questi account di backup su cloud sono in genere specifici per un utente / un computer. Quindi, se un disco rigido è il backup di un utente. Quindi un secondo utente lavora al progetto, cosa significa?

Un grande NAS

  • Un NAS è "Network Area Storage". Attacchi tanti dischi rigidi quanti ne terranno. Li farà irruzione. Puoi accedervi tramite la connessione di rete o forse USB3 / Firewire.
  • La maggior parte ha un sistema operativo integrato. Quindi non è possibile eseguire altri software come i servizi di backup basati su cloud. Né è possibile effettuare alcuna personalizzazione o eseguire il proprio software. Ottieni quello che acquisti.
  • I grandi NAS sono piuttosto costosi e non così grandi. Non ne trovi molti con più di 4 baie. Attualmente un grande HD è di 3 TB. Quindi 4bays potrebbe trovarsi da qualche parte intorno a <12 tb di spazio di archiviazione. Non molto comodo per il futuro.

Altre idee sono:

  • Backup su nastro.
  • Basta archiviare i vecchi progetti direttamente su Amazon Glacier, saltare la costruzione di un server locale per archiviarli.

Grazie per qualsiasi consiglio !!! Jed


Una volta terminato un progetto, con quale frequenza devi tornare indietro e lavorare con i suoi dati?
Michael Hampton,

La comprensione di "Big NAS" è notevolmente ridotta. Ci sono aziende che vanno da NetApp a EMC, da IBM a Isilon a molte altre che vorrebbero sedersi con te.
mfinni,

Dovremo tornare a questi dati una o due volte al mese. Se ci fosse un ritardo nell'accedere a questi dati (Amazon Glacier) penso che sarebbe accettabile se stessimo parlando ore e non giorni.
maestrojed

Non usare Glacier, quindi. Il recupero sarà elevato e il tuo commercialista uscirà di corsa quando riceverà il conto.
HopelessN00b,

@mfinni Sono sicuro che EMC e IBM avrebbero grandi idee e hardware fantastico (non sapevo di NetApp). Non sono sicuro che si adatterebbe al mio budget descritto né sembra appropriato per le piccole imprese. Sembra che NetApp renda l'hardware simile a quello che stavo chiamando un "array di dischi rigidi" prodotto da Norco. Ho menzionato questo nella creazione della mia idea di server. È questo l'approccio che stai suggerendo?
maestrojed

Risposte:


12

Nastro. Semplice. Quantum ha un sistema SuperSTore in grado di gestire molto più di questo e li ho visti per un prezzo inferiore a 5000 - nuovo. La cosa buona è che puoi estrarre i nastri per l'archiviazione, quindi il ridimensionamento sarà abbastanza conveniente e i nastri durano.


Dato che sei soddisfatto dei tempi di recupero nell'ordine delle ore, sono completamente d'accordo con TomTom. Il nastro è molto sottovalutato ed eccellente per questo tipo di cose.
MadHatter,

Se si utilizza il nastro, assicurarsi di disporre di qualcosa che consenta di testare il nastro frequentemente. Nella mia esperienza, circa il 75% dei backup su nastro non funziona perché le persone usano più volte le stesse cassette e sono sorprese quando non possono recuperarne i dati 3 anni dopo.
Matteo,

2
Abbastanza sorprendente dato che una corretta presa correttamente conservata (tosse) ha garanzie di lunghezza aarchivistica (penso 30 anni). E potresti facilmente fare 2 copie. Prendi le scale davvero bene. È più la - scusa - idiozia di ppl che probabilmente non testerà mai il restauro nemmeno una volta .... anche se lo farei in un programma (1 settimana, 1 mese, 1 anno).
TomTom,

1
+1 - Questo è praticamente un caso da manuale per nastro ad alta capacità. Il costo incrementale dell'aggiunta di spazio di archiviazione a un archivio basato su nastro (anche con il taglio di due nastri da archiviare in sede e fuori sede) è inferiore rispetto alle unità a disco rigido e i nastri sono destinati all'archiviazione. LTO è supportato da un'associazione di settore che ha dimostrato l'impegno a costruire prodotti che consentano l'accesso ai media più vecchi. Anche così, tra qualche anno, quando si sostituisce l'elemento a nastro, probabilmente si dovrebbe migrare i vecchi dati in nuovi formati di nastro, anche solo per combattere il potenziale marcio bit. Se hai bisogno che questo sia "OPEX", considera un'opzione di leasing.
Evan Anderson,

1
Il nastro è buono ma richiede disciplina: test regolari, rotazione fuori sede, ecc. Personalmente andrei con NAS near-line (probabilmente senza nas4) e un rsync a velocità limitata in una scatola identica fuori sede.
quadrupla

4

Innanzitutto, consiglierei di evitare il ghiacciaio. Suona bene, fino a quando non si riducono i costi per il ripristino di una grande quantità di dati. Questo è un calcolatore non ufficiale che puoi usare per calcolare i costi di stoccaggio e recupero del ghiacciaio e giudicare da solo . Il ripristino di terabyte di dati da Glacier è una prospettiva poco attraente.

In secondo luogo, consiglierei che per semplici scopi di backup, potresti cavartela con un singolo server NAS con molte unità. Mi sembra che tu abbia guardato solo le opzioni NAS a casa e per piccoli uffici e dovresti considerare un'offerta NAS adeguata. Preferendo Dell, vorrei sottolineare i server NAS PowerVault di Dell , ma HP, IBM, SuperMicro e quasi tutti gli altri hanno offerte simili. Ho un vecchio Dell PowerVault NX a casa che funge da libreria multimediale e contiene dodici dischi SAS near-line da 2 TB. Al giorno d'oggi sono disponibili anche unità SAS nearline da 4 TB, quindi è possibile riempire sempre un server NAS adeguato. (O acquista un paio di server NAS.)

Puoi facilmente utilizzare uno di questi sulla tua LAN locale, installare il software di backup di tua scelta ( come Bacula, se ti piace gratuitamente , o una delle dozzine di offerte commerciali se desideri il supporto del fornitore) e utilizzare un volume RAID di grandi dimensioni come destinazione di backup. È quindi possibile utilizzare un servizio di backup cloud per eseguire il backup di questo server NAS e usufruire dei vantaggi dei backup locali e remoti. Ancora una volta, questo è quello che faccio a casa. Server NAS appropriato, terabyte di dati sottoposti a backup su un servizio cloud.

E, naturalmente, potresti usare anche il nastro ... acquistare un'unità nastro o una libreria LTO - personalmente, farò di tutto per evitare il nastro o il supporto del disco ottico, ma sono opzioni legittime e potrebbero essere più economiche di un disco soluzione su disco.

Infine, vorrei suggerire che è necessario prendere in considerazione il principale svantaggio dei servizi di backup su cloud, che è la dimensione della pipa Internet. Potrebbero essere necessarie settimane o mesi per caricare terabyte di dati tramite la connessione Internet e / o sostenere costi aggiuntivi dall'ISP. Quindi, sebbene siano un'opzione praticabile per il backup dei dati, anche di quelli aziendali, questo è un vincolo che la maggior parte delle persone non considera fino a quando non l'ha già raggiunto.


+1. Il ghiacciaio è un archivio - seriamente S ++++ per il backup. Il backup significa nessun ripristino per anni, quindi MOLTO - e la quota del 5% significa pagare in caso di ripristino.
TomTom,

1

Penso che dipenda dal tuo budget. Se puoi spendere solo $ 6k probabilmente dovrai costruire il tuo NAS. Guarderei nas4free e quanto costa un server. Se puoi spendere $ 20k, probabilmente puoi riempire un server con un sacco di dischi e una decente scheda RAID o software RAID sotto Linux o altro.

Per circa $ 40k puoi avere un 1U di fascia alta (IBM x3550 M4, 2 porte Emulex 10GBit nic, 4 Gbit NIC, 128GB RAM, 2 dischi SAS 10k locali) con iSCSI 10Gbit su una scatola SAN Infortrend con 24 dischi SAS da 4 TB che puoi taglia e taglia come preferisci. RAID6 è una configurazione ragionevole.

Anche il nastro è una buona idea, ma non so quanto sia economico. Dipende da quanto è grande una biblioteca. Se una libreria a 48 nastri è buona, puoi farlo di nuovo con una 1U e una scheda SAS esterna per forse $ 30k e 2 unità LTO6 ... Ma allora hai bisogno di licenze software per gestire i backup su nastro o qualcosa del genere. Ho usato solo NetBackup, che probabilmente non è adatto a te qui. Non dimenticare che probabilmente vorrai guidare la libreria a nastro in qualche modo nel software. Ma una volta usciti dalla libreria, non dimenticare di cercare il nastro e caricarlo, oltre a un'area di gestione temporanea per l'accesso ...

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.