ZFS e SAN: le migliori pratiche?

La maggior parte delle discussioni su ZFS suggerisce che il RAID hardware sia spento e che ZFS debba parlare direttamente con i dischi e gestire il RAID sull'host (anziché il controller RAID).

Questo ha senso su un computer con 2-16 o anche più dischi locali, ma che dire di un ambiente con una SAN di grandi dimensioni?

Ad esempio, l'impresa per cui lavoro ha quella che considererei una SAN di dimensioni modeste con 2 rack completi di dischi, che è qualcosa come 400 mandrini. Ho visto scaffali SAN molto più densi dei nostri e implementazioni SAN molto più grandi dei nostri.

Le persone espongono 100 dischi direttamente ai grandi server ZFS? 300 dischi? 3000 dischi? Gli strumenti di gestione della SAN facilitano la gestione automatizzata di questo genere di cose?

FWIW Ho esperienza con un massimo di 92 dischi in un singolo pool ZFS e finora funziona benissimo.

Ma se stai davvero parlando di diverse centinaia di dischi, prenderei in considerazione la loro suddivisione in un piccolo numero di pool disgiunti (ma comunque di grandi dimensioni). Non voglio sapere per quanto tempo, ad esempio, zpool scrubviene eseguito su un pool di dischi 3000 (ma si desidera scrub regolarmente). Anche l'output di comandi come zpool statussarebbe ingombrante con un numero così grande di dischi. Quindi perché mettere tutte le uova in un unico cestino?

(Nota a margine sul dedup : si noti che sebbene il dedup possa essere controllato a livello di set di dati, troverà duplicati a livello di pool. Vale a dire che probabilmente si otterranno risultati di dedup peggiori se si esegue il partizionamento come suggerito. D'altra parte è necessaria molta più memoria per contenere gli hash di dedup di un singolo pool gigante che potrebbe non adattarsi ad ARC + L2ARC se il pool è troppo grande, quindi se si utilizza il dedup la quantità di memoria disponibile è probabilmente un buon indicatore della dimensione massima del pool pratico .)

Lasciamo che le nostre SAN gestiscano il RAID. Perché spendere soldi per tutta quella NVRAM supportata da batteria e quei processori dedicati e poi scaricare il lavoro sul server, le cui CPU voglio fare qualcosa di diverso dai checksum RAID?

Ecco un sito Web che potresti voler esaminare per considerare le dimensioni e la configurazione dei pool per la probabilità di perdita di dati.
https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection

È una vecchia domanda, ma è solo una questione rilevante oggi come lo era 7 anni fa!

Per rispondere alla prima parte della domanda, non sono a conoscenza di ciò che chiameremmo una "SAN" che esporrebbe mai i dischi grezzi a un server che potrebbe eseguire ZFS. Una SAN per definizione presenta solo l'archiviazione a blocchi (LUN) o forse con qualcosa come un Filer / FS presenta un NFS o un CIFS. Esistono alcuni "SAN" che eseguono ZFS internamente, ma questo viene in gran parte sottratto: i dischi non vengono mai esposti a un server, invece il componente "Filer" della SAN presenta i file system a blocchi o di rete ai server.

Un dispositivo che presenta i dischi non elaborati (su SAS o meno probabile su FC) è un DAS. Per eseguire ZFS, in genere si direbbe al controller RAID di presentare i dischi come JBOD.

Tuttavia, è necessario utilizzare ZFS su un LUN presentato da una SAN? Forse: ZFS, ad esempio EXT4, offre alcune funzionalità extra come scrub che controllano i checksum o per eseguire istantanee. Uno scrub probabilmente non può guarire automaticamente come fa se sta eseguendo il RAID del disco, ma può comunque avvisarti della corruzione, contribuendo a prevenire bitrot. Le istantanee su cui puoi creare, ad esempio, un file server SAMBA Linux sono di gran lunga superiori a quelle che puoi fare con EXT, queste possono anche essere esposte in Windows come "Versioni precedenti).

Se non fornisci dati ridondanti ZFS con cui lavorare (ad esempio mirror, RAID-Z), perdi molti dei vantaggi dell'utilizzo. Il numero di dischi coinvolti non cambierà questo fatto. Tuttavia, se ciò che conta davvero dipende dal tuo ambiente. Devi determinare quali funzionalità di archiviazione sono necessarie (un'analisi potenzialmente ad alta intensità di lavoro) e quindi andare a cercare la soluzione meno costosa (che puoi permetterti) che soddisfi le tue esigenze. Ciò può significare l'utilizzo di ZFS ovunque insieme a dispositivi di archiviazione Oracle specializzati (alcune persone lo fanno e hanno molti dischi esposti a ZFS senza problemi e utilizzano gli strumenti Oracle per eseguire la gestione), può significare utilizzare solo prodotti SAN aziendali o può significare l'utilizzo alcuni ibridi (nel qual caso probabilmente dovrai sviluppare alcuni strumenti e processi per gestire l'ambiente). Don'