Aggiunta di memoria da 60 TB a un server SLES 10

Devo aggiungere un po 'di archivio / archiviazione temporanea a un server SLES 10. Il requisito è presentare volumi abbastanza grandi (9-20 TB ciascuno circa, circa 60 TB in totale) che verranno utilizzati per archiviare i dati di archivio (letteralmente, questo è per una libreria) che comprende file di immagini di grandi dimensioni (150Meg Tiff per la maggior parte) e grandi tarball. I dati saranno schiacciati in modo schiacciante nella lettura di IO, sicuramente> 95% e probabilmente oltre il 99%.

Lo spazio di archiviazione è già stato acquistato: un array di array Dell MD3000 SAS concatenato con 2 MD1000 completamente popolati con unità SATA da 2 TB 7200 RPM, 45 unità in totale. Lo stack di array è collegato mediante due adattatori SAS esterni a doppia porta, ovvero sono presenti 4 percorsi per lo stack.

La mia intenzione è quella di configurarli come un insieme di 4 volumi seduti su 4 gruppi RAID con un hot spare per array. Tutti i gruppi saranno RAID 6 con 7 o 14 unità e ogni gruppo RAID verrà presentato come un singolo LUN utilizzando tutta la capacità di quel gruppo. Dal lato SLES, questi devono essere formattati come volumi XFS.

Ho un'esperienza limitata con SLES (e Linux in generale) e sto cercando alcuni consigli su questo, in particolare:

1. Ci sono cose specifiche a cui prestare attenzione quando si configurano volumi XFS di queste dimensioni in SLES 10, ovvero le impostazioni predefinite saranno OK dato il profilo IO?
2. Qual è il modo migliore per inizializzare \ partizione \ formattarli? Ho usato Parted per impostare un'etichetta del disco e YAST Partition Manager (accettando tutte le impostazioni predefinite) per creare e formattare il volume XFS per il mio test iniziale.
3. Come imposto il multipathing? Quando presento un volume di prova iniziale, appare come quattro dispositivi separati (/ dev / sdl, / dev / sdm, / dev / sdn e / dev / sdn). Cosa devo fare per lavorare con questo come volume singolo?
4. Nel mio test iniziale vedo velocità di trasferimento da un volume SAN EMC Clariion esistente di circa 30 Meg / sec. Questo è molto più basso di quanto mi aspettassi, anche tenendo conto della penalità di scrittura RAID 6 che mi aspettavo di vedere qualcosa nel campo di baseball di 70-100 Meg / sec.
5. Come posso sapere se è tutto a posto - dove devo cercare errori \ avvisi ecc? L'editor della partizione YAST impiega molto tempo ad avviarsi ad esempio e mi piacerebbe capire perché.
6. Partiresti in modo diverso e \ o utilizzeresti un filesystem diverso e, se sì, perché?

Il server è un Dell 2950: non ho controllato le specifiche dettagliate ma la parte superiore mostra l'utilizzo in bilico al massimo nelle cifre singole basse.

Nel mio lavoro precedente avevamo un problema simile. Stavamo facendo produzione per planetari e ogni frame era di 64 MegaPixel. Molte immagini di grandi dimensioni. Questi verrebbero elaborati per ogni teatro in un'operazione di lettura molto aggressiva su un gruppo di computer.

Il server in questo caso aveva una configurazione di archiviazione simile. Più array RAID collegati direttamente esterni. Ognuno di questi era in volumi RAID6 esposti all'host e aggiunti a un VG (gruppo di volumi) sotto LVM (Logical Volume Manager). Ogni show / produzione otterrebbe quindi il proprio LV (Logical Volume), formattato XFS, che aumenteremmo con il progetto come richiesto.

Se i tuoi set di dati sono piuttosto statici o crescono in modo prevedibile come questo, questo approccio dovrebbe funzionare bene per te. Ma attenzione, questo approccio ha un aspetto negativo. Si finisce per dover micro-gestire i LV sul tuo archivio. Alcuni amministratori lo preferiscono in questo modo, ma altri cercano di evitarlo. Ma questo ti consente di far crescere ogni file system LV e XFS man mano che cresce il set di dati. Mantenere i volumi XFS il più piccoli possibile in modo da non rimanere bloccati con un fsck che richiede anni per essere completato. E può agire come controllo dei danni se un file system va a sud.

Dichiarazione di non responsabilità: se dovessi configurarlo oggi, utilizzerei OpenSolaris e ZFS. Principalmente in b / c evita i problemi di micro gestione ed è un gestore di file system / volume superiore. Quindi potresti voler dare un'occhiata anche a quello.

Sarei molto più incluso per acquistare più dischi e RAID 10.

Ho avuto problemi orribili con centinaia di dischi FATA (SATA) da 1 TB acquistati qualche tempo fa, costano £ 1k ciascuno e sto perdendo il 5% al ​​mese! Fondamentalmente non sono progettati per un ciclo di lavoro 24x7 e che potresti avere gli stessi problemi è il motivo per cui consiglierei R10.

RAID6 è un passo nella giusta direzione ma se hai la possibilità lascerei da parte almeno un disco come hot-spare - se un disco muore in qualsiasi punto del tuo array salterà e si spaccherà mentre ti aspetta sostituire il disco guasto. A tale proposito, assicurati di avere almeno 2 o 3 dischi di riserva in loco pronti per la sostituzione e assicurati inoltre di avere tutte le impostazioni di avviso per farti sapere quando c'è un problema 24x7.

Per quanto riguarda le prestazioni, anche quei dischi da 2 GB non sono così trasandati per un disco da 7,2k e SAS può essere molto veloce, quindi mi aspetto che i 70 Mbps per le letture sequenziali che hai menzionato - ovviamente, i random e le scritture saranno piuttosto bassi.

Scusate se sembro negativo, ho appena lottato con l'archiviazione per anni e posso dormire facilmente solo con i sistemi di dischi aziendali - ho appena fatto troppi turni di 48/72 ore fissando dispositivi di fascia bassa.