Come si creano file system condivisi di grandi dimensioni su Linux in AWS?

Quali sono i modi accettabili / ragionevoli / migliori per fornire spazio di archiviazione grande, coltivabile e condiviso su AWS, esposto come un singolo file system?

Attualmente stiamo realizzando volumi EBS da 1 TB ~ bisettimanali ed esportazione NFS con no_subtree_check e nohide. In questa configurazione, le esportazioni distinte vengono visualizzate sotto un singolo mount sul client. Questa disposizione non si adatta bene.

Le opzioni che abbiamo considerato:

LVM2 con ext4. resize2fs è troppo lento.
Btrfs su Linux. ovviamente non è ancora pronto per la prima serata.
ZFS su Linux. ovviamente non è ancora pronto per la prima serata (anche se LLNL lo utilizza)
ZFS su Solaris. il futuro di questa combo è incerto (per me) e il nuovo sistema operativo nel mix
glusterfs. sentito storie per lo più buone ma due spaventose (e forse vecchie?).

La soluzione ideale fornirebbe condivisione, una vista fs singola, facile espandibilità, istantanee e replica.

Grazie per aver condiviso idee ed esperienze.

— Reece
fonte

Hai eseguito i numeri su questo? Mi sembra che sia proibitivamente costoso ...

— Michael Hampton,

Buona domanda. La risposta è una specie, ma siamo in anticipo. La nostra esigenza di dati è elevata e l'esigenza di elaborazione è piena. Pertanto, non è chiaro quale sia il costo maggiore: AWS con spazio di archiviazione costoso e soluzione di calcolo di picco più economica o locale con calcolo costoso e spazio di archiviazione più economico. (Non sono nemmeno convinto che il costo di archiviazione completamente caricato sia davvero più economico.) Probabilmente avremmo nascosto i dati di archivio in Glacier per ridurre i costi (i vincoli potrebbero funzionare per noi).

— Reece,

Non dimenticare i costi della larghezza di banda.

— Michael Hampton,

A proposito di ZFS, è Solaris o FreeBSD, ma come hai detto tu, il futuro è alquanto incerto per Solaris e ZFS open-source è bloccato alla versione 28 (qualunque sia il sistema operativo).

— Ouki,

Che ne dici di XFS (in cima a LVM)? È più maturo di ext4 e c'è la possibilità di eseguire dump incrementali del filesystem. Potresti voler controllare il suo articolo di Wikipedia e i benchmark contro ext4 a cui fa riferimento.

— peterph
fonte

Grazie Petr. Avevo considerato (e dimenticato) la combinazione LVM + XFS. Ho un po 'di trepidazione su LVM2 e XFS, principalmente per quanto riguarda l'incertezza e la nuova complessità operativa per noi. Non mi aspetto di ottenere qualcosa per niente (ad esempio, spazio di archiviazione espandibile senza sforzo), ma vorrei ridurre al minimo lo sforzo e il rischio per noi. Ad esempio, qual è la conseguenza della perdita di un volume EBS che fa parte di un array RAID1? Potrebbe non essere un problema, ma a questo punto tali domande creano incertezza per me. In un'era di ZFS e btrfs, speravo di eludere tale complessità.

— Reece,

@Reece La domanda è se ti fidi del mapper del dispositivo - iirc, la maggior parte di LVM è in realtà strumenti per lo spazio utente supportati da dm. Avresti bisogno del kernel not-too-ancinet (2.6.33+ - vedi wiki ).

— peterph