Se il backup completo LTO-3 richiede più di un nastro. Qual è il mio prossimo passo in termini di hardware?

OK. alcuni dati da considerare

Uso Backup Exec 12.x / 13.x, ho un ambiente server 2003/2008 incluso Exchange.

Ho un backup su disco (Full / Diff) che è indipendente dal backup su LTO (Full / Diff). Per più di un motivo, preferirei non fare semplicemente il backup da disco a nastro, ma vorrei mantenere il backup diretto su LTO.

Al momento ho un solo disco LTO-3 senza caricatore / robot / libreria. La confezione per il drive LTO contiene una scheda SCSI Adaptec 39160 Ultra160 . Attualmente uso un nastro per Full (uno alla settimana) e un nastro per Diff (quattro giorni alla settimana prima dell'estrazione del nastro). Il backup completo si sta espandendo contro la barriera di 372,5 GB e quando il backup non termina sabato, è ancora in attesa di un nastro lunedì mattina.

Ward ha menzionato l'inserimento del secondo nastro LTO3 completo lunedì pomeriggio / sera dopo il normale orario di lavoro. Il problema con questo è confrontato di seguito:

Flusso normale

• Venerdì inserire il nastro 1 LTO3 per il backup completo per la settimana 1
• Lunedì inserire il nastro LTO3 per differenziale
• Martedì, mercoledì, giovedì i differenziali utilizzano il nastro inserito lunedì
• ripetere per la settimana 2

2 nastri LTO3 per flusso di backup completo

• Venerdì inserire il nastro 1 LTO3 per il backup completo per la settimana 1
• Lunedì inserire il nastro 2 LTO3 per il backup completo per la settimana 1
• Lunedì inserire il nastro 1 LTO3 per il backup completo per la settimana 1 (per il processo di verifica)
• Lunedì inserire il nastro 2 LTO3 per il backup completo per la settimana 1 (per il processo di verifica)
• Martedì inserire il nastro LTO 3 per differenziale
• Mercoledì, giovedì i differenziali utilizzano il nastro inserito martedì
• ripetere per la settimana 2

Gli scambi di nastri extra durano 6+ ore a lunedì (a partire dal momento in cui ho inserito il secondo nastro). Se lo facessi alle 17:00 sarei qui fino a mezzanotte a scambiare i nastri. Questo non sta contando il tempo di inattività su Sab / Dom / Lun in attesa di un nastro.

Ora potrei disattivare il processo di verifica e salvare due scambi di nastro e abbreviare il processo di "backup" di diverse ore, ma non posso semplicemente inserire il nastro 2 e andare via alla fine della giornata se non disattivo la verifica . Far scorrere il backup su un secondo nastro allunga il processo di backup ma anche

• Aumenta il numero di nastri nella rotazione (costo)
• Aumenta il numero di nastri durante il trasporto (dimensioni / peso della valigetta che va allo stoccaggio fuori sede)
• Aumenta la complessità del processo di backup facendomi rimanere sul posto dopo ore per il processo di verifica
• Aumenta la complessità della gestione di backup / ripristini dal mio ufficio che non si trova proprio accanto alla sala server. Questo diventa quadruplo per affrontare tali problemi da casa.

E sì, sabato non vado a sedermi lì per più di 6 ore e faccio da babysitter all'unità nastro. Mi piacerebbe avere una vita fuori dal lavoro. 12 ore al giorno MF sono abbastanza cattive quando accadono. Non mi legherò permanentemente a una settimana lavorativa di 6 giorni.

L'unità nastro è un Dell PowerVault 110T LTO3. Il server di backup si trova su Gigabit Ethernet utilizzando solo una singola scheda di rete e può riempire un nastro completo in circa 12 ore.

Posso modificare il processo di backup per separare uno dei server più intensivi in ​​un backup completo sul proprio LTO per trattenere temporaneamente questa decisione, ma presto penso che dovrò scegliere una di queste opzioni:

1. Acquista un'unità LTO-3 e approfitta solo della disponibilità di un secondo nastro fisico. Questa è un'opzione meno desiderabile e ha senso solo se le unità LTO-3 sono notevolmente più economiche delle unità LTO-4, ma non è così.

2. Acquistare un'unità LTO-4 e utilizzare i nastri LTO-4 per i backup completi e utilizzare i nastri LTO-3 per i differenziali fino a quando i nastri LTO-3 non vengono ruotati e i nuovi nastri LTO4 corrispondono al prezzo dei nastri LTO3. Questo probabilmente mi farà passare il backup del fine settimana per gli anni a venire senza dover scambiare i nastri. Ciò riguarda anche parzialmente lo sheshining poiché LTO4 ha una velocità minima inferiore a LTO3.

3. Acquista qualcosa in grado di alimentare automaticamente i nastri. Suppongo che non sia possibile aggiungere qualcosa a PowerVault 110T e ciò significherebbe l'acquisto di un nuovo dispositivo con nastro e caricatore in una singola unità. Questo probabilmente non è conveniente rispetto al solo ottenere un disco e caricare manualmente i nastri, ma andare a caricare automaticamente LTO4 sarebbe il massimo in termini di praticità. Lascerò che il capo sopra di me decida tra singola unità nastro e unità di caricamento automatico.

Evan Anderson ha menzionato in un'altra soluzione che è possibile acquistare unità in questa fascia di prezzo

 LTO-4 (internal drive, 1 tape / day) - $2,766.00  
 LTO-4 (autoloader, 1 tape / day) - $4,566.00

ma non conosco i dettagli su ciò che lui o tu raccomanderesti per l'unità effettiva e, se necessario, il controller. Mostrami un nuovo URL (o Dell, o HP, o qualunque sia il tuo fornitore preferito) per la tua soluzione se non ti dispiace cercarlo o semplicemente dammi un marchio e un numero di modello e sarò felice di farlo la gamba funziona da sola.

Sto cercando di fare un acquisto necessario un po 'di tempo prima che questa rotazione di backup diventi troppo ingombrante. Probabilmente ho qualche mese.

Xenny menziona l'età dei server e la velocità del backup. Il server Exchange ha 6 anni (sebbene i dischi rigidi siano molto più recenti). Ci sono un paio di server di 4 anni nel mix con unità sata consumer (WD6400AAKS). I server che considero "nuovi" hanno 2 anni a questo punto.

Il backup su disco dal vecchio server di scambio è stato veloce come 2184 MB / min, ma in generale il backup su disco è lento quanto il backup su nastro in questa configurazione. In effetti il ​​backup su disco a volte è più lento del backup sull'unità nastro LTO-3. Ho anche avuto problemi con guasti alle unità e mancanza di alloggiamenti per aggiungere altre unità. In generale, il backup su disco è ancora più un problema rispetto alla transizione LTO3 / 4 ma appartiene a una domanda diversa su serverfault se volevo un input su quell'argomento.

Prenderò solo alcuni numeri da un backup recente per darti un'idea delle velocità. Questo non è un elenco completo ma ti dà un'idea della varietà di velocità coinvolte. Ho in programma di aggiornarlo presto nel formato di oldspeed MB / min newspeed MB / min dove oldspeed è il vecchio SCSI 320 LTO3 e newspeed è il SAS LTO4.

DC C: ~ 850 MB / min
Stato del sistema DC ~ 700 MB / min
Exchange Server C: e stato del sistema ~ 500 MB / min ~ 600 MB / min
Exchange Server D: ~ 1400 MB / min ~ 1200 MB / min
Exchange Server Primo Gruppo di archiviazione ~ 1100 MB / min ~ 700 MB / min Server
web C: ~ 600 MB / min ~ 950 MB / min
Server web E: ~ 1700 MB / min ~ 1950 MB / min
File server C: ~ 500 MB / min
File server E: ~ 1500 MB / min ~ 2200 MB / min
Fileserver G: ~ 1800 MB / min ~ 2400 MB / min
Stato del file server ~ 650 MB / min
fax server C: ~ 400 MB / min ~ 550 MB / min
Server di contabilità C: ~ 1300 MB / min ~ 1775 MB / min
Server di contabilità D: ~ 1500 MB / min ~ 2250 MB / min
Istanza SQL di contabilità ~ 1600 MB / min
server delle applicazioni C: e stato del sistema ~ 700 MB / min ~ 900
Server di backup MB / min C: 700 MB / min ~ 1800 MB / min
server di backup E: 1350 MB / min ~ 2900 MB / min

Monitoraggio del Fileserver Ho visto numeri che mi fanno pensare che il controller raid stia trattenendo le velocità di trasferimento. Il controller è SATA 1.5 ma le unità sono 3.0. Ho notato dopo aver cambiato i volumi da RAID 1 a RAID 10 e senza ottenere alcun aumento di velocità per i backup. Sfortunatamente, il raddoppio della velocità di lettura sostenuta non ha influito sul backup sull'unità nastro LTO3.

In generale, il backup diretto a LTO mi dà un punto di riferimento decente in cui i miei server sono limitati I / O. I server che eseguono il backup al di sotto di 1500 MB / min sono generalmente lenti dal punto di vista del disco e quelli tra lì e 2400 MB / min sono ancora in sospeso. Ad esempio, il server Exchange 2003 sta esaurendo lo spazio su disco e continua ad espandere il database per il Primo gruppo di archiviazione verso parti più lente dei dischi. Questo server verrà sostituito con un server Exchange 2010 con processori più veloci e più dischi. Gli altri server riceveranno aggiornamenti del disco e / o SSD aggiunti.

http://en.wikipedia.org/wiki/Tape_drive menziona "Quando si verifica il lustrascarpe , influisce in modo significativo sulla velocità dei dati raggiungibile, nonché sulla durata dell'unità e del nastro". ma non menziona il lustrascarpe che riduce la capacità effettiva di un nastro. Dopo aver esaminato i nastri archivistici dalla banca, posso confermare dallo 2% al 15% di spazio sprecato sui nastri LTO3. In nessun posto abbastanza vicino da impedirmi di passare a LTO4 o ad un caricatore automatico, ma potrebbe essere significativo. Per quelli di voi con Backup Exec è possibile calcolare i propri rifiuti lustrati:

• Esecuzione di un processo di backup che eseguirà il backup di circa il 100% della capacità nativa dei nastri senza compressione. Disabilita la compressione sull'unità e sul software durante l'esecuzione del test.
• cerca nella scheda media di backup exec e confronta la colonna "capacità utilizzata" con la colonna "Dati". Se la compressione è disattivata e i numeri corrispondono, non si è affatto in ordine.

Nel mio caso avevo un nastro LTO3 d'archivio con 272,4 GB "usati" ma solo 233,67 GB "dati" e un altro con 400,6 GB contro 395,19 GB. Ho anche provato un backup su LTO4 senza compressione e ho ottenuto "usato" 833 GB con solo "dati" da 786,77 GB. Ovviamente il lustrascarpe varierà dal mio ambiente al tuo, ma prima non avevo pensato di provarlo. Spero che questo ti chiarisca come capire quanto spreco di nastro hai nel tuo ambiente di backup.

modifica: nuove informazioni su http://www.fujifilmusa.com/shared/bin/LTO_Overview.pdf che mostrano le velocità minime del nastro per LTO3 e LTO4. Sembra che IBM LTO4 abbia effettivamente una velocità minima inferiore rispetto a IBM LTO3. In entrambi i casi il mio server medio è troppo lento per alimentare LTO3 / 4 senza lustrare. Sono preoccupato anche che il mio backup su disco i volumi locali saranno troppo lenti per alimentare rapidamente l'unità, ma dovrò provarlo.

Estrarre le informazioni sull'unità IBM a tutta altezza dal PDF sopra ottengo

LTO4 : 30-120MB/s 800GB native (45-240MB/s compressed)
LTO3 : 40- 80MB/s 400GB native (60-160MB/s compressed)
LTO2 : 18- 35MB/s 200GB native (27- 70MB/s compressed)
LTO1 : 15- 15MB/s 100GB native (30- 30MB/s compressed)  

Aggiornamento : il server che stavo usando per il backup ha iniziato a darmi errori di arresto, quindi ho spostato l'unità nastro su un altro server. Il vecchio controller SCSI era un Adaptec 160 il "nuovo" controller è un 320 basato su LSI (almeno suppongo che il connettore esterno sia un 320 poiché i 4 dischi rigidi all'interno del server menzionano 320 SCSI nella gestione del server).

La nuova situazione del server mi lascia temporaneamente senza backup su disco finché non ottengo un enclosure esterno per l'archiviazione diretta collegata. In generale, questa discussione LTO mi ha indicato l'acquisto di più dischi rigidi per i miei server. Avrò lavoro per fare la riconfigurazione di array RAID per aumentare la velocità del backup e, auspicabilmente, aumentare l'affidabilità della configurazione generale.

Aggiornamento 2 : il confronto di seguito utilizza un vecchio file server il cui controller di raid colma tutti i trasferimenti a ~ 40 MB / s, quindi l'ideale sarebbe circa 2400 MB / min. Si tratta della velocità necessaria per testare il bordo del lucido delle scarpe. Presumibilmente il flusso di dati non sarà perfettamente regolare e forzerà l'adattamento della velocità quasi per tutto il test.

Non conosco più la dimensione del buffer e il conteggio del buffer che ho usato nel test di velocità del vecchio disco LTO3, ma non lo cambia affatto, forse ho ottenuto un guadagno di 100 MB / min regolando i buffer. I dati del test sono di circa 20 GB di tif e jpg scannerizzati. Ho fatto questi test un venerdì pomeriggio e non ho ripetuto i test abbastanza volte per calcolare la media dei dati o altrimenti eliminare i dati non validi. Test dopo ore, scelta di dati diversi e altre variabili potrebbero influenzare notevolmente questi test.

Gli stessi server vengono utilizzati in tutti i test. La vecchia unità si trova su un controller LVD SCSI 320 che è PCIx. La nuova unità si trova su un controller SAS PCIe LSI 3801E. È possibile che il controller dell'unità e / o l'unità nastro LTO3 siano colli di bottiglia. Non testerò i singoli componenti, solo il vecchio accoppiamento contro il nuovo accoppiamento. Il server che esegue Backup Exec ha 4 GB di RAM, 32 bit Server 2008 standard, CPU dual core Pentium D 3.2GHz.

La connettività di rete avviene tramite uno switch da 1 GB, entrambi i server si trovano sullo stesso switch. Ho una connessione desktop remoto aperta ma con il backup in corso + quella connessione la connessione Gb è utilizzata nel peggiore dei casi con meno del 50% e mediamente più del 25%.

Quindi, per quanto i metodi di prova siano approssimativi, sono abbastanza sicuro che i colli di bottiglia non si trovino in una variabile che sto ignorando.

Brevi risultati del test :
~ 1500 MB / min utilizzando l'unità Dell LTO3 e la compressione del nastro LTO3 ON, dimensione del blocco 64 KB (molti conteggi del buffer testati, miglior risultato elencato qui)

~ 1800 MB / min utilizzando Quantum Superloader3 LTO 4 unità con un nastro LTO3 (stesso nastro come sopra) compressione ON, dimensione blocco 64 KB, dimensione buffer 64 KB, conteggio buffer 10, conteggio highwater 0, scrittura modalità blocco singolo ON, scrittura passaggio SCSI- attraverso la modalità ON

~ 2150 MB / min utilizzando Quantum Superloader3 LTO 4 unità con un nastro LTO3 (stesso nastro come sopra) compressione ON, dimensione blocco 256 KB, dimensione buffer 256 KB, conteggio buffer 10, conteggio highwater 0, scrittura modalità blocco singolo ON, scrittura passaggio SCSI- attraverso la modalità ON
~ 2200 MB / min utilizzando Quantum Superloader3 LTO 4 unità con un nastro LTO3 (stesso nastro come sopra) compressione OFF, dimensione blocco 256 KB, dimensione buffer 256 KB, conteggio buffer 10, conteggio highwater 0, scrittura Modalità blocco singolo ON, scrittura Modalità pass-through SCSI ON

~ 2050 MB / min utilizzando Quantum Superloader3 unità LTO 4 con una compressione nastro LTO4 ON, dimensione blocco 256 KB, dimensione buffer 256 KB, conteggio buffer 10, conteggio acqua alta 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON
~ 2250 MB / min utilizzando Quantum Superloader3 unità LTO 4 con una compressione nastro LTO4 OFF, dimensione blocco 256 KB, dimensione buffer 256 KB, conteggio buffer 10, conteggio acqua alta 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON

~ 2050 MB / min utilizzando Quantum Superloader3 unità LTO 4 con una compressione nastro LTO4 ON, dimensione blocco 256 KB, dimensione buffer 1 MB, conteggio buffer 10, conteggio highwater 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON
~ 2300 MB / min utilizzando Quantum Superloader3 unità LTO 4 con compressione nastro LTO4 OFF, dimensione blocco 256 KB, dimensione buffer 1 MB, conteggio buffer 10, conteggio acqua alta 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON

~ 2200 MB / min utilizzando Quantum Superloader3 unità LTO 4 con una compressione nastro LTO4 ON, dimensione blocco 256 KB, dimensione buffer 1 MB, conteggio buffer 20, conteggio highwater 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON
~ 2300 MB / min utilizzando Quantum Superloader3 unità LTO 4 con compressione nastro LTO4 OFF, dimensione blocco 256 KB, dimensione buffer 1 MB, conteggio buffer 20, conteggio acqua alta 0, scrittura modalità blocco singolo ON, scrittura modalità pass-through SCSI ON

È chiaro che l'ottimizzazione della dimensione del blocco è più importante della dimensione del buffer. Indipendentemente dalle dimensioni del blocco o del buffer utilizzate, si otterranno prestazioni migliori disattivando la compressione se i dati di origine non riescono a tenere il passo con la frequenza minima di corrispondenza dei dati delle unità nastro. Sfortunatamente questa è un'impostazione per unità non un'impostazione per processo o per formato nastro, quindi non puoi limitare la compressione solo ai backup completi o solo a LTO3. Dovrai anche testare la quantità di un problema con la tua combinazione di hardware / software. Ovviamente il risultato in termini di prestazioni è minore e i test più importanti saranno l'ottimizzazione del backup completo da 600 GB a 800 GB anziché 20 GB. Proverò ad aggiornare di nuovo dopo alcune settimane o mesi di backup.

Inoltre, tieni presente che 100 MB / min è di gran lunga inferiore alla velocità minima per lo streaming su nastro con LTO 3, quindi probabilmente stai perdendo una buona quantità di capacità con l'arresto e l'avvio del nastro (cioè probabilmente stai migliorando di 1,5: 1 compressione, ma questa si perde negli spazi vuoti nei dati sul nastro). Questo probabilmente andrà piuttosto peggio con LTO 4, poiché penso che la velocità minima sia aumentata.

Disco - Disco - Il nastro aiuterà con il problema della velocità minima e ti darà una certa capacità gratuitamente.

Se non lo stai facendo, prendi in considerazione una sorta di deframmentazione pianificata dei dischi sui server di cui stai eseguendo il backup. 1000 MB / min non rappresentano un livello elevato di throughput per Ethernet Gig su hardware ragionevolmente moderno. Mi aspetto che su macchine anche di 2 anni dovresti essere in grado di ottenere 1800 MB / min (che è solo lettura dal disco del server a 30 MB / sec), quindi c'è margine di miglioramento.

Modifica: per LTO 3, vuoi davvero una dimensione di blocco di 256 KB per le migliori prestazioni.

Scarpa WRT lucida, non c'è tempo per il riavvolgimento del nastro se il buffer si svuota brevemente, quindi lascerà uno spazio sul nastro.

inevitabilmente, i backup superano la capacità inizialmente prevista. Ecco cosa suggerirei e dire sulla tua situazione:

1. Quindi il backup completo supera la capacità di un nastro. Quindi utilizzare due nastri.

2. Seguire le raccomandazioni di Symantec e continuare a eseguire il backup su disco, quindi eseguire il backup dei backup su disco su nastro. pianificare i backup su disco in modo che si verifichino dopo ore quando sono in uso meno risorse. pianificare i backup su nastro in modo che si verifichino in qualsiasi momento durante il giorno successivo al completamento dei backup su disco poiché i backup su nastro non hanno alcun impatto sui sistemi di produzione.

3. Pensa ai tuoi backup per la settimana (Full e Differenziali) come parte dello stesso set di backup. se ci vogliono due o tre nastri alla settimana, allora così sia.

4. pianificare i backup su nastro in modo che avvengano solo durante la settimana quando ci si trova per scambiare i nastri.

ho una situazione simile, sto usando un drive dell powervault 110t lto2 ed ecco cosa faccio:

1. il sabato prendo un backup completo su disco (backup su cartella del disco per backup completi).

2. da domenica a venerdì prendo backup incrementali su disco (un altro backup nella cartella del disco per gli incrementali).

3. dal lunedì al venerdì prendo i backup su nastro del backup completo e incrementale sulle cartelle del disco. quando il nastro raggiunge la sua capacità, lo cambio. se raggiunge la capacità nel cuore della notte, la cambio la mattina dopo e il lavoro su nastro termina.

4. dopo il backup del venerdì su processo su nastro, cambio i nastri per la settimana successiva. i due nastri che estraggo sono il pieno e gli incrementi della settimana corrente e entrano nella mia rotazione di 4 settimane. ora so che tutti i dati di backup delle settimane attuali sono su un set di nastri, archiviati fuori dal sito.

risciacqua e ripeti

Facciamo qualcosa di simile a joe:

1. sabato: backup completo su disco, al termine avviare il backup completo su nastro
2. lunedì: a fine giornata, inserisci un secondo nastro e lascia terminare il backup
3. lun-ven: backup differenziali solo su disco

Se devi davvero fare il disk-tape indipendente dal backup disk-disk, vivrei con i due backup leggermente fuori sincrono:

1. Avvia il disco-disco e il nastro-disco sabato, il disco-disco finirà e il nastro-disco attenderà un secondo nastro il lunedì
2. Termina il nastro su disco lunedì (aspetterei ancora fino alla fine della giornata per inserire il nastro).
3. Lun-Ven, fai i tuoi differenziali disco-disco (in realtà, vedo che non dici che lo fai, ma suppongo che tu lo faccia)
4. Mar-Ven, fai i tuoi differenziali su nastro

Non vedo alcun problema con il backup di set di file leggermente diversi sui due supporti diversi. In quasi tutti i casi, ripristinerai un file dal backup del disco, con il nastro solo un fallback o un modo semplice per organizzare più set di backup.

Ecco un'opzione che potrebbe aiutarti a cavartela per un po ':

Hai mai considerato di suddividere il backup in due set di dati separati? A seconda di come sono organizzati i file, potresti essere in grado di dividerlo facilmente in due blocchi logici (ad es. Per dipartimento). Faresti un backup completo del primo set di dati giovedì notte e un backup completo del secondo set di dati venerdì notte. Ogni notte successiva venivano eseguiti due lavori su un singolo nastro, un differenziale per ciascun set di dati.

In questo modo non verrai nei fine settimana e non dovrai fare da babysitter a un disco in attesa del completamento di una verifica. Inoltre, ottieni la protezione aggiuntiva di non avere tutte le uova nello stesso paniere, per così dire.