Ho 40 anni nel campo dell'informatica, ma non ho mai dovuto costruire un server abbastanza simile a questo, quindi questa potrebbe essere una domanda n00b.
Ho un client che offrirà file musicali ad altissima definizione per il download. In questo caso ciò significa 24 / 192Khz compressi FLAC = ~ 10 GB / album. (No, non voglio discernere l'opportunità del prodotto, solo la configurazione del server.) Il catalogo sarà di circa 3.000 album, con versioni sia ultra-alta che bassa definizione (per i loro iPod, suppongo), dando Circa 35-40 TB di dati primari.
Dato che si tratta di un prodotto molto specializzato, le dimensioni del mercato sono relativamente ridotte (pensate: persone che spendono $ 20.000 + sui loro sistemi audio), il che significa che la maggior parte delle volte il server sarà inattivo al 100% (o vicino ad esso). Ho quella che sembra una buona offerta di colocation da ColocationAmerica con una connessione da 1 Gbps e larghezza di banda a circa $ 20 / TB, quindi ora devo solo costruire una scatola per consegnare la merce.
Il caso d'uso dell'accesso ai dati è write-once / read-many, quindi sto pensando di utilizzare solo il software RAID 1 per coppie di unità. Ciò mi consentirebbe ( credo ) di riconfigurare le unità di riserva per quelle guaste al volo, potendo così iniziare la ricostruzione della seconda unità prima che alcuni sysadmin notino la luce rossa sul sistema (fanno swap out gratuiti). Sarebbe bello se potessi mettere la maggior parte delle unità in modalità sleep / spin-down se non sono necessarie, il che sarà il più delle volte per la maggior parte delle unità.
Non ho bisogno di molto in termini di potenza di calcolo - questa cosa sta semplicemente spingendo oggetti grassi lungo la pipa - e quindi la CPU / scheda madre può essere piuttosto modesta fintanto che può supportare questo numero di unità.
Attualmente sto considerando la seguente configurazione:
Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server
Quindi, sto andando nella giusta direzione o è un modo completamente nuovo di affrontare il problema?
Aggiornamento per chiarire un paio di punti:
- Non ho esperienza con ZFS, poiché l'ultimo prodotto Sun che possedevo era alla fine degli anni '80. Farò un po 'di RTFMing per vedere se mi sembra giusto.
- Non ho davvero bisogno che il filesystem faccia qualcosa di spettacolare poiché i nomi dei file saranno UUID semplici e gli oggetti saranno bilanciati tra le unità (un po 'come un grande sistema di cache). Quindi stavo davvero pensando a questi come 40 filesystem separati, e questo ha fatto sembrare RAID 1 giusto (ma ammetto l'ignoranza qui).
- Poiché le nostre aspettative attuali sono che è improbabile che scaricheremo più di una dozzina di file alla volta, e nella maggior parte dei casi ci sarà esattamente una persona che scarica un determinato file, non so se abbiamo bisogno di tonnellate di memoria per i buffer. Forse 8 GB è un po 'leggero, ma non credo che 128 GB farà altro che consumare energia.
- Ci sono 2 macchine separate non menzionate qui: il loro attuale negozio Web e un Download Master quasi completamente disaccoppiato che gestisce tutta l'autenticazione, la gestione dell'assunzione di nuovi prodotti, l'applicazione delle politiche (dopo tutto, questo è il parco giochi della RIAA), la creazione di URL effimera (e possibilmente consegnare i download a più di una di queste bestie se il traffico supera le nostre aspettative), tracciamento dell'utilizzo e generazione di report. Ciò significa che questa macchina potrebbe quasi essere costruita usando gerbilli su Quaaludes.
ZFS? Dov'è il vantaggio?
OK, mi sto frugando tra più guide ZFS, FAQ, ecc. Perdonami per sembrare stupido, ma sto davvero cercando di capire il vantaggio di usare ZFS sulla mia nozione antidiluviana di coppie N RAID1. In questa pagina delle migliori pratiche (dal 2006), suggeriscono addirittura di non fare uno ZFS a 48 dispositivi, ma 24 mirror a 2 dispositivi - suona un po 'come quello di cui stavo parlando. Altre pagine menzionano il numero di dispositivi a cui è necessario accedere per consegnare 1 (uno) blocco ZFS. Inoltre, ricorda, a 10 GB per oggetto e all'80% di utilizzo del disco, sto memorizzando un totale di 320 file per unità da 4 TB . Il mio tempo di ricostruzione con N RAID 1s, per ogni dato guasto dell'unità, è una scrittura da 4 TB da un dispositivo all'altro.In che modo ZFS lo rende migliore?
Devo ammettere di essere un dinosauro, ma il disco è economico, RAID 1 lo capisco, le mie esigenze di gestione dei file sono banali e ZFS su Linux (il mio sistema operativo preferito) è ancora un po 'giovane. Forse sono troppo conservatore, ma quando guardo un sistema di produzione, è così che mi muovo.
Ringrazio tutti voi per i vostri commenti che mi hanno fatto riflettere su questo. Non sono ancora del tutto deciso e potrei dover tornare e fare alcune altre domande su n00b.