Qual è il modo più sicuro e meno costoso per archiviare 10 terabyte di dati?

Sono membro di una società di produzione e ci stiamo preparando per il nostro primo lungometraggio. Abbiamo discusso dei metodi di archiviazione dei dati per proteggere tutti i nostri contenuti originali (il più a lungo possibile). Sebbene comprendiamo che i dati non sono mai sicuri al 100%, vorremmo trovare la soluzione più sicura per noi.

Abbiamo considerato:

• NAS da 16 TB per archiviazione in loco

• 4-5 dischi rigidi da 2 TB (economici, ma non ridondanti), copiare i filmati originali sulle unità e sigillarli in un sacchetto privo di elettricità statica

• Masterizza dati su dischi Blu-Ray (dispendioso in termini di tempo e denaro: 200 dischi == $ 5000)

• Unità a nastro?

Conosco meno le unità a nastro, tranne il fatto che sono più affidabili dei dischi. Qualsiasi esperienza / conoscenza con questa quantità di dati è molto apprezzata.

Questo presuppone che stai andando per un archivio piuttosto che un backup regolare o dati live.

Scegli un set di dischi rigidi SATA (1 o 2 TB), oltre ad alcuni extra. Copia i tuoi dati sui dischi. Utilizzare QuickPar (o un archiviatore che supporta i volumi di parità) per creare file di parità aggiuntivi. Distribuire i file di parità tra i dischi rigidi.

Le informazioni sulla parità ti permetteranno di ricostruire i file se ti rimangono abbastanza file di parità. Quindi se un disco si spegne ma altri dischi con le informazioni di parità funzionano ancora, è possibile utilizzare i file di parità per ricostruire l'originale.

Per una maggiore ridondanza, fare tutto due volte e conservare in posizioni separate.

Se sei davvero paranoico, archivia un controller PCI e PCI Express su SATA anche su ogni sito!

Modifica: Diamine, se la paranoia è ciò di cui si tratta, vai su tutto il maiale e archivia un PC con Ethernet Gigabit in ogni sito in grado di leggere i dischi!

Le unità LTO4 che utilizziamo possono contenere fino a 800 GB per nastro. Il rovescio della medaglia è il costo delle unità stesse. Se hai esitato a $ 5K per i dischi Blu-Ray, non ti piacerà il costo di LTO4. D'altra parte, i cartoncini stessi sono piuttosto economici in base al GB, quindi è possibile conservare molte copie. Questi nastri hanno una buona conservabilità, ma è necessario pianificare di spostarli su nuovi supporti quando si sostituisce l'unità a nastro. Da come descrivi come userai questa memoria, non penso che il nastro sia adatto. A meno che non si tratterà di una soluzione di backup anziché di una soluzione di archiviazione . Problemi diversi.

Potresti prendere in considerazione una sorta di fornitore di backup basato su cloud per questo, se la tua variazione di rete giornaliera è abbastanza piccola. Naturalmente, questo dipende da quanto sia robusta la tua connessione Internet e ripristinarla potrebbe essere altrettanto doloroso. Questi servizi sono piuttosto nuovi, quindi non è noto come gestiscano il problema del fallimento dei dati; cosa succede se finiscono gli affari?

L'archiviazione su disco locale è sicuramente una strada da percorrere. Un contenitore di unità con unità facilmente intercambiabili è probabilmente la soluzione migliore considerando i vincoli di costo. Se riesci a convivere con quei dati offline, allora provaci. I dischi sono economici e gli alloggiamenti dei dischi sono più economici delle unità a nastro. Meno parti in movimento.

Presumo che tu ne abbia bisogno per l'archiviazione, non per l'utilizzo attivo in un ruolo video. In tal caso, si tratta di un problema di archiviazione diverso.

Nella tua ricerca NAS, hai esaminato i dispositivi di archiviazione autogestiti DroboPro o DroboElite ?

Considera quale sarebbe il costo se perdessi una parte / tutti i filmati e il budget di conseguenza;)

Hai considerato i servizi ospitati? Non sono sicuro di come pesa il prezzo, ma potresti prendere in considerazione un servizio di hosting che vende spazio di archiviazione di massa. Forse AWS ?

Da otto a dieci dischi rigidi da 2 TB; fare due set. Conservare come già menzionato, separatamente ...

Starei lontano dal nastro poiché è molto più sensibile alle condizioni in cui è archiviato rispetto ai dischi; inoltre, tra cinque anni, le probabilità sono buone che sarai ancora in grado di collegare un'unità SATA a qualcosa, ma potresti non essere in grado di accedere a un'unità nastro in grado di leggere i tuoi nastri.

Gli ottici sarebbero i migliori in termini di stabilità a lungo termine, ma, come dici tu, i costi e la logistica li rendono in qualche modo poco pratici.

Consiglierei di avere una sorta di NAS / RAID per file live con cui lavori frequentemente. Se hai intenzione di utilizzare unità di grande capacità, potresti voler utilizzare un RAID-6 o simile che, come un hot spare RAID-5 +, ti consente di fallire due dischi prima che il tuo RAID sia degradato, ma a differenza della configurazione hot spare anche la tua seconda unità extra avrà la parità in modo che il raid non debba ricostruire la parità in riserva in caso di fallimento. Con le unità che diventano più grandi, c'è una maggiore possibilità di fallire un'unità durante una ricostruzione, quindi avere quanta parità in tempo reale è buona.

Inoltre, consiglierei di utilizzare dischi rigidi come unità a nastro. In questi giorni è anche possibile acquistare custodie per dischi rigidi (anche questi ) che consentono di archiviare le unità per l'archiviazione. È possibile scaricare i file sul RAID e quindi eseguire copie di archivio extra sulle unità da archiviare.

Alcune case di produzione video come Pixel Corps usano configurazioni simili.

Inoltre, consiglio vivamente di archiviare i file in più di una posizione (non sotto lo stesso tetto). Inoltre, segui sicuramente il mantra di "se non è scritto in almeno due posti, non lo hai ancora salvato". Inoltre, RAID non conta come backup di per sé.

Presumo che questo sia in gran parte per l'archiviazione del tipo di backup offline: facilmente creato e ripristinato, ma non utilizzato pesantemente nelle operazioni quotidiane.

Al giorno d'oggi si possono avere unità da 2 TB per circa $ 140. Quindi, per 10 TB, 5 unità, $ 700. Calcola circa $ 400 per costruire un server a bassa potenza attorno a quello che esegue Debian o Ubuntu o qualche altra versione di Linux. Se si ottiene un sistema con più schede di rete, è possibile effettuare il collegamentola rete si interfaccia insieme per (potenzialmente, credo che tu abbia bisogno di uno switch gestito che supporti il ​​trunking) per aumentare la larghezza di banda disponibile del server e proteggerla da guasti della scheda di rete. È quindi possibile esporre l'archiviazione tramite samba, NFS o altri metodi alle workstation che devono essere utilizzate. Per un volume di dati così grande, probabilmente vorrai una sorta di ridondanza in modo che quando (non se) una di queste unità lo morde, non sarai senza i tuoi dati. RAID5 non è una buona idea qui, per diversi motivi, ma RAID10 si adatta al conto. Poiché il server esegue Linux, è possibile utilizzare mdadm per gestire l'array RAID. Per fare ciò, dovrai raddoppiare il numero di dispositivi fisici, quindi hai fino a 10 unità. Costo totale di questo server di archiviazione:

Se ami davvero i tuoi dati (se questi sono dati di produzione davvero importanti, dovresti!), Potresti creare un server duplicato e fare il backup del backup. Puoi farlo con un crontab rsync, che potrebbe essere terribilmente lento, una soluzione netcat / tar pipe , che sarebbe più veloce per essere sicuro, o impostare i dispositivi raid come base di un dispositivo drbd . Con l'archiviazione duplicata automaticamente su entrambe le macchine, hai (sostanzialmente) garantito di avere backup ridondanti dei dati. Puoi diventare ancora più fantasioso e impostare un sistema di failover del battito cardiaco per garantire la disponibilità del tuo volume di dati.

Buffalo TeraStation III 8 TB Network Attached Storage - £ 1.085,56

link amazon.co.uk

Ho una versione da 1 tb terastation che ho aggiornato a 4 tb, funziona perfettamente in RAID5 per me. Potresti cercare di acquistare una versione più piccola e aggiornarla tu stesso per risparmiare qualche soldo o acquistare più terastazioni ecc.

Non so molto sulle unità a nastro né sulla semantica della memorizzazione dei dati su nastro, quindi non posso aiutarti. Dato il costo proibitivo dell'utilizzo di bluray come backup su larga scala, resterei fedele a un NAS o a singole unità.

Una cosa di cui diffidare con NAS / Raid è che, mentre possono immagazzinare una notevole quantità di informazioni in una singola unità virtuale ... devi tenere tutte le unità insieme, e il RAID non è generalmente un ottimo periodo a lungo termine " soluzione di backup. Corri il potenziale di perdere più di un'unità, perdendo il dispositivo NAS stesso (e raramente ci sono garanzie che un dispositivo sostitutivo sarà in grado di leggere i dati dalle unità, anche se si tratta di un dispositivo "identico").

Considerando quanto i dischi rigidi siano radicalmente economici in questi giorni e la loro stabilità generale, opterei per i singoli dischi. Puoi facilmente prendere 10 unità da 2 TB a un piccolo costo (forse $ 1200 - $ 1500) e generare due set di backup. Ottieni sia un backup offline che ridondante dei tuoi dati, senza i rischi connessi con RAID o un dispositivo NAS. Le singole unità offrono anche una maggiore gamma di compatibilità, poiché è improbabile che SATA vada ovunque in qualunque momento presto.

Se vuoi davvero assicurarti di non perderlo, allora vuoi almeno due opzioni di archivio. Probabilmente nastro e dischi rigidi. Fare solo una copia senza una qualche forma di ridondanza è solo un altro modo di lanciare i dadi dei dati.

A seconda delle esigenze di archiviazione, se si desidera eseguire il backup di singole workstation, consultare un dock di archiviazione esterno Thermaltake BlacX per unità SATA rimovibili. Supportano entrambe le connessioni USB e SATA esterne. Rilascia semplicemente l'unità nel dock, copia i dati e hai un backup.

Ho banchine a casa e al lavoro. Eseguo backup in ogni posizione e li porto nell'altra posizione per l'archiviazione fuori sede. Ho anche un disco di memoria virtuale per spostare i lavori in corso tra le posizioni.

I dock sono circa $ 60,00 ciascuno e puoi ottenere unità da 1,5 TB per meno di $ 100.

Josh, non hai chiarito se si tratta di dati di lavoro o di dati di archivio. Se i dati sono preziosi, non esiste una vera differenza tra backup e archivio, ma solo dove si memorizza, ad es. Sul proprio sistema di lavoro o sistema di archiviazione. Ancora una volta, se i dati sono preziosi, il sistema di lavoro e il sistema di archiviazione saranno identici se si desidera proteggere i dati e osservare le regole del backup.

L'archiviazione si applica più al tipo di supporto rispetto a ciò che è memorizzato su di esso. L'archivio implica che i dati non cambieranno mai, ad esempio Written Once e Read Many times, comunemente chiamati WORM. Le unità WORM sono in genere nastro ma cose come RDX Quikstor e RDX Quikstation (stazione RDX a 8 alloggiamenti) hanno l'opzione WORM per unità specifiche in modo che non possano essere sovrascritte. Ho il sospetto che la RDX Quikstation possa adattarsi alla tua archiviazione.

Ricorda che un sistema di archiviazione fa parte di un piano di backup. Non dovresti mai considerare di avere una sola copia di tutti i dati.

Alcune regole di backup sono:

3-2-1 Regola.

Tre (3) copie dei tuoi dati. Un (1) backup di origine e due (2) su due supporti diversi, di cui uno (1) gestito fuori sede.

Esempi: server onsite eseguito il backup su NAS onsite e backup offsite su nastro o RDX. Il server in loco ha eseguito il backup su NAS in loco e il backup su NAS fuori sede. Server in loco eseguito il backup su NAS in loco e replicato in tempo reale su NAS fuori sede. Il backup in loco deve essere su disco.

Media:

Il backup fuori sede dipende dal tempo. Il backup offsite su supporti portatili introduce automaticamente ritardi. cioè il backup notturno di lunedì viene portato fuori sede martedì notte. Se hai un disastro prima della chiusura degli affari di martedì, perdi due giorni. Quanto puoi permetterti di perdere dipende interamente dalla tua attività e dalla frequenza di modifica dei dati.

Memoria multimediale:

Rispettare pienamente le regole per l'archiviazione dei file multimediali. Alcuni nastri richiedono di memorizzarli in verticale tra intervalli di temperatura e umidità ristretti, ben lontano da fonti di campi magnetici. La caduta di un nastro ne ridurrà l'affidabilità. L'invio di cassette a casa con la ragazza dell'ufficio nella borsetta accanto al suo telefono cellulare è un disastro in attesa di accadere. I nastri richiedono inoltre fino a due ore nell'ambiente di backup prima di essere inseriti nell'unità, per bilanciare la temperatura e l'umidità tra nastro e unità nastro. I nastri devono anche essere eliminati e sostituiti al tempo richiesto / intervalli di scrittura.

Personalmente, per questi motivi, non mi piace il nastro. Il costo non è piccolo e non è nemmeno il costo di avere qualcuno a gestirlo. Investire in nastro ma non seguire le regole è inutile. Puoi farlo con un calo economico ma affidabile.

Elimina i singoli punti di errore:

Non diffondere i dati di backup su più supporti. Ad esempio, il backup completo su un nastro e i differenziali su altri 6 nastri ha moltiplicato il rischio di perdita di dati 7 volte. Se ho un backup mi piace contenere tutti i file necessari per ripristinare i dati. Meglio avere 7 backup completi.

In un certo senso, il raid conta come più media. Ovunque usi RAID, assicurati che abbia il failover automatico hot swap. È necessario disporre di almeno un'unità di riserva in un vano unità come riserva hot swap dedicata e i sistemi sostituiranno automaticamente l'unità morta con hot swap spare. Se si dispone di terabyte di dati, considerare di avere due o più ricambi hot swap nel RAID.

Osservare le distanze fuori sede:

La distanza fuori sede è importante. È inutile disporre di backup offsite se protegge solo dalla perdita di dati in alcune circostanze. Chiunque abbia subito un terremoto, un'inondazione, un tornado, un uragano ecc. Te lo dirà. I recenti terremoti nella nostra città hanno visto un sacco di grandi aziende precipitare senza backup fuori sede (nastri ancora accanto ai server) o backup illeggibili. In genere 90 km è una buona distanza.

Non conosco il tuo budget, quindi dare consigli è difficile. Il budget influisce sulla scelta del backup e dell'archiviazione. Ho lavorato per un produttore cinematografico fornendo supporto IT, quindi ho una certa comprensione delle parti mobili del tuo settore. Ci sono molte domande senza risposta:

Quali server hai, se ce ne sono? Quanto personale hai? Questo è il tuo unico e unico film? Qual è la dimensione del file o set di file più grande? Qual è il tempo tra questo film e il prossimo? Ad esempio, se stai producendo a tempo pieno, hai il flusso di cassa per coprire le spese mensili come il backup remoto tramite fibra. Che tipo di flusso di cassa genererà il film? Quali requisiti hai per andare avanti? Queste e altre domande definiscono requisiti, metodologia e budget.

Ad esempio: se stavi producendo 3 lungometraggi all'anno e spot pubblicitari ogni mese con una dozzina di dipendenti, potevi permetterti di avere: Server con RAID con backup su RAID NAS in loco. Collegamento in fibra dedicato (non così costoso) con collegamento a 100mbit non conteso (non limitato dall'ISP) replicato in un data center a 60m / 90k di distanza. Importanti dati di archivio devono essere scritti su nastro o RDX e archiviati in data center o nastro vault. Il budget è l'unico fattore determinante per quanto riguarda il grado di ridondanza e backup che è possibile permettersi.

Oppure, se il budget è basso e le entrate provengono dalle vendite e il futuro è sconosciuto, potresti prendere in considerazione le unità TAPE, RDX o USB (non consigliate) archiviate a casa.

Requisiti attuali e futuri, flusso di cassa e budget, ponderati rispetto alla perdita di dati, sono i fattori determinanti. Ti suggerisco di impiegare uno specialista di backup esperto e / o un analista aziendale per completare il processo di archiviazione e backup.