Configurazione del disco Hadoop JBOD sul controller del disco HP Smart Array 410 / i

8

Sono in una fase di valutazione di alcuni hw che potrebbero essere utilizzati per la creazione di un cluster hadoop. Questo hw è stato rinnovato (server hp G6 con controller Smart Array 410 / i) e probabilmente dovremmo / dovremmo usarlo ... non l'abbiamo ancora. Ho letto che il controller 410 / i non consente una configurazione JBOD come richiesto da hadoop, c'è qualcuno che potrebbe confermare questa affermazione? O no ? Sembra che una soluzione alternativa potrebbe essere quella di configurare raid0 su ogni singolo disco, ancora qualcuno lo conferma o ci sono altri modi di configurazione? Grazie Rob

— nysalsa
fonte

7

Il controller Smart Array 410 / i consente di creare solo 2 dispositivi raid senza la scheda di memoria opzionale aggiunta ad esso. Quindi se il tuo hardware ha solo 2 unità, allora andrebbe bene; puoi semplicemente fare 2 raid0. Se si dispone di più di 2 unità, sarà probabilmente necessario acquistare il modulo di memoria BBWC con cache di scrittura supportata da batteria da 256 MB. Se non si è sicuri, provare l'utility di configurazione, si lamenterà che esiste un limite al numero di dispositivi raid configurati consentito se è necessario acquistare il componente aggiuntivo di memoria.

Di recente ho installato un server ZFS utilizzando uno di questi e 12 dischi in modalità RAID0 per ciascuno e funziona bene. Dal momento che puoi disabilitare praticamente tutte le funzionalità dell'attuale controller raid, è effettivamente uguale alla modalità JBOD.

— Erik
fonte

4

Sebbene sia possibile creare più RAID 0 su quel controller da utilizzare con ZFS, si verificherà un problema se un disco si guasta. ZFS non riconoscerà la sostituzione a meno che non si riavvii.

— ewwhite,

4

Questa situazione è simile a quella che incontro durante la progettazione di hardware per soluzioni di archiviazione ZFS. ZFS è un software RAID e sfrutta le risorse del server per la gestione del disco. Hardware RAID non è raccomandato e JBOD non è realmente possibile con i controller Smart Array. Quindi, quando utilizzo i sistemi ProLiant per ZFS, sostituisco il controller Smart Array con qualcosa che ha una modalità JBOD o un HBA SAS / SATA di base.

In genere, si tratterà di un HBA SAS LSI (senza funzionalità RAID). La mia preferenza è la LSI 9211-8i o 9205e.

Vedi i consigli su: Consigli sui controller ZFS SAS / SATA

— ewwhite
fonte

0

Mentre la gamma Pxxx non consente la configurazione JBOD diretta se crei un array da tutti i tuoi dischi e poi crei più array RAID0 di dimensioni equivalenti, sei praticamente lì in termini di somiglianza funzionale. Detto questo, sono anche un po 'dubbioso sui requisiti di Hadoop, in primo luogo non c'è modo in cui possa effettivamente dire quale sia la configurazione del disco reale poiché è nascosta dal BIOS e in secondo luogo perché sembra eccessivamente prescrittiva dato quanto sono ben ponderati i controller HP, cosa c'è il problema con l'array che gestisce i suoi dischi?

— Chopper3
fonte

3

Grazie per la risposta, HDFS (file system Hadoop) ha una ridondanza integrata replicando i blocchi su più nodi. RAID 0 è più lento della configurazione JBOD utilizzata da HDFS perché l'I / O è limitato dalla velocità del disco più lento nell'array RAID I / O su JBOD è indipendente, quindi la velocità media è maggiore di quella del disco più lento. Il test effettuato da Yahoo ha mostrato che JBOD ha prestazioni migliori di RAID 0: markmail.org/message/xmzc45zi25htr7ry

— nysalsa

0

È possibile configurare RAID0 per disco fisico disponibile.

Diciamo che se hai 8 dischi, finisci per avere qualcosa del genere (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

— sl0n
fonte

1

Non farlo. Perderai le funzionalità di hot-swap e avrai problemi di enumerazione dei dispositivi a blocchi di unità logiche. Un disco guasto == unità logica guasta == nuovo dispositivo creato dopo la sostituzione.

— ewwhite,

1

Le "capacità di scambio"? Vuoi dire che non sarò in grado di sostituire un disco guasto in modalità "online", cioè dovrei spegnere il mio server prima di sostituire il disco guasto? Per quanto riguarda l'enumarazione del dispositivo, ho intenzione di verificarlo, penso che sia un punto giusto.

— sl0n