è possibile gestire array RAID hardware (LUN) come unità OSD?

8

Sono abbastanza nuovo per il Ceph e provo a scoprire se il Ceph supporta gli HBA di raid a livello di hardware.

Purtroppo non è stato possibile trovare alcuna informazione. Quello che ho scoperto è che si consiglia di utilizzare dischi semplici per OSD. Ma questo porta i requisiti al PCIe, le interfacce del disco a larghezze di banda elevate e i requisiti della CPU sono molto elevati. I controller RAID hardware hanno già risolto questi requisiti e forniscono un'elevata ridondanza in base alle configurazioni senza consumare PCIe, CPU o altre risorse.

Quindi la mia configurazione desiderata sarebbe quella di avere controller RAID locali che gestiscano la mia ridondanza su disco a livello di controller (Raid 5, raid 6) qualunque sia il livello RAID di cui ho bisogno. Oltre a ciò che LUN RAID vorrei utilizzare ceph per eseguire il più alto livello di replica tra: host, chassis, rack, riga, datacenter o qualsiasi cosa sia possibile o pianificabile in CRUSH

Qualche esperienza in quella configurazione?

È una configurazione consigliata?

Qualche documentazione approfondita per questa integrazione hardware RAID?

— CILAP
fonte

7

Non puoi significare che dovresti. È possibile mappare i LUN RAID su Ceph, ma si inietta un ulteriore livello di astrazione e tipo di rendering almeno parte della funzionalità Ceph inutile.

Discussione simile sulla loro mailing list:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

— BaronSamedi1958
fonte

1

potresti elaborare un po 'di più "rendere inutilizzabile almeno parte della funzionalità Ceph"? Non capisco

— cilap

1

L'intera idea di Ceph ... OK, una delle idee principali! è evitare la gestione di "isole di archiviazione" che sono LUN RAID.

— BaronSamedi1958,

0

Ma questo porta i requisiti al PCIe, le interfacce del disco a larghezze di banda elevate e i requisiti della CPU sono molto elevati.

Non proprio, molti carichi di lavoro di archiviazione vengono serviti bene con moderne CPU e interconnessioni per uso generale.

Sì, un controller RAID si occupa della ridondanza con una manciata di dischi in uno chassis. Ma questo è il costo e la complessità quando si eseguono soluzioni di archiviazione distribuite multi-nodo già ridondanti come Ceph. Perché preoccuparsi di eseguire il mirroring di un disco fisico quando Ceph ne ha già più copie?

I mattoni di tale soluzione sono solo un mucchio di dischi. Come Open Vault di Open Compute Storage . 30 mandrini in un contenitore, collegati a un nodo di calcolo di forse una dozzina di core della CPU. Aggiungi tutti i nodi di cui hai bisogno per ridimensionare. Puoi lasciare quel calcolo dedicato a Ceph se vuoi massimizzare la produttività.

— John Mahowald
fonte

hai fatti con benchmark CPU, mem e disco reali rispetto a benchmark RAID hardware? Con gli array RAID hardware ho bassi requisiti su CPU e mem, dal momento che il controller hardware se ne occupa.

— cilap,

Io non. E vorresti davvero fare il tuo benchmark comunque. Basta notare che le CPU eseguono miliardi di cicli al secondo e le interconnessioni (PCIe) eseguono miliardi di trasferimenti al secondo. Sei libero di usare un controller RAID, non sembra necessario in un nodo di archiviazione distribuito.

— John Mahowald,

-1

L'impostazione consigliata è di utilizzare singoli dischi o, eventualmente, dischi in coppie RAID-1.

Un singolo controller SAS (o un controller RAID in modalità JBOD) può pilotare diverse centinaia di dischi senza alcun problema.

L'uso di array molto grandi vanifica lo scopo stesso di CEPH che è quello di evitare singoli punti di errore e "punti critici". Inoltre, danneggerà effettivamente la ridondanza.

Supponiamo che tu voglia costruire un cluster CEPH da 1 PB usando unità da 8 TB, usando lo chassis dei server a 36 dischi (un normale hardware simile a Supermicro). Confrontiamo le configurazioni con e senza RAID in termini di capacità di archiviazione e affidabilità:

Con RAID-6 sono necessari 5 chassis (e 10 OSD).
- Ogni chassis avrà 2 array RAID 18 dischi.
- Avrai a disposizione 1024 TB di spazio di archiviazione disponibile.
- In caso di crash di più dischi dovrai ricostruire 256 TB.
Con CEPH e 5 chassis avrai 180 OSD.
- La capacità disponibile sarà leggermente superiore (usando la codifica di cancellazione): 1152 TB
- in caso di crash di più dischi dovrai ricostruire solo il numero di dischi guasti (a meno che non sia un intero server, sarà sempre inferiore a 256 TB).

— wazoox
fonte

Ricevo i requisiti di Ceph, ma ancora una delle domande principali non ha ricevuto risposta. Quali sono i requisiti per lo chassis da 36 unità? Dopo aver bisogno di 36 core dalla descrizione di Ceph per questo. Inoltre quale configurazione suggeriresti per il tuo esempio? Quali sono gli sforzi di replica e qual è il punto di riferimento?

— cilap,

dimenticato. Dopo l'installazione, sono necessarie più istanze o forse anche più server per la gestione.

— cilap,

@cilap dipende davvero dalle prestazioni necessarie. Generalmente non è necessario 1 core per OSD, è sufficiente utilizzare circa la metà dei core. Le prestazioni della codifica di cancellazione sono inferiori alla replica completa.

— Wazoox,

Non ho menzionato MDS come li farai in entrambi i modi. a seconda del costo del cluster, è possibile utilizzare i nodi di archiviazione come server MDS e MON.

— Wazoox,