Soluzioni di archiviazione automatica a più livelli fatte in casa con Linux? (Memoria -> SSD -> HDD -> memoria remota)

In relazione a questa domanda sull'utilizzo di un SSD per il sistema e HDD per i dati , tranne per il fatto che il mio sistema lo faccia automaticamente ...

È possibile avere diversi livelli di archiviazione e spingere gli elementi automaticamente tra di loro, utilizzando preferibilmente software open source gratuito?

Conosco soluzioni di classe enterprise estremamente costose come l' archiviazione automatica EMC SAN-> EMC Centera , ma mi chiedevo se questo tipo di archiviazione temporanea è possibile eseguire automaticamente.

Sarebbe bello poter avere diversi livelli in questo: Memoria-> SSD-> HDD-> HDD o nastro più lento o qualche altra soluzione di archiviazione.

Ci sono dei filesystem che possono farlo automaticamente? (ZFS, Btrfs, HAMMER?)

Qualunque variante di Unix va bene, poiché sono interessato a come funziona e se è probabile che sia portabile su Linux o altre versioni (BSD ecc.).

Bene, ZFS utilizza un livello di archiviazione chiamato Hybrid Storage Pool (HSP) :

1. Strato: memoria
2. Livello: cache di lettura basate su SSD (L2ARC) e cache di scrittura (registro di intenti separato aka slog).
3. Strato: hard disk (economici)

Con HSP è facile trarre automaticamente vantaggio dai vantaggi degli SSD rispetto a una soluzione solo su disco rigido. Un sistema che utilizza HSP può essere sia più veloce sia più economico di quest'ultimo. Vedi questo link per alcuni esempi e ulteriori dettagli.

Penso che ci siano piani riguardanti la gestione gerarchica dell'archiviazione (HSM) per ZFS (vedi ad esempio il progetto OpenSolaris di Automatic Data Migration (ADM) ) ma non conosco il suo stato attuale.

Scopri la soluzione "lvmts" (LVM Tiered Storage) basata su LVM che questo ragazzo sta preparando:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Abbastanza bello

TIER sembra rispondere alle tue esigenze È un modulo del kernel linux che può creare una memoria a più livelli. Sembra apprendere da solo il modello e ottimizzare il posizionamento nella memoria

http://www.lessfs.com/wordpress/?p=776

Rispondere alla mia domanda con qualcosa che ho appena trovato:

Stavo solo aggiornando il kernel e guardando le nuove cose che sono state aggiunte, e ora c'è un'opzione 'CACHEFILES' che consente di memorizzare nella cache (di solito remoti) filesystem su un filesystem locale. Immagino di poterlo utilizzare per memorizzare nella cache un meccanismo di archiviazione più lento (HDD) in uno più veloce (SSD), almeno per un livello di gerarchia.

Alcuni link pertinenti. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) è il primo tentativo verso un gestore dell'archiviazione di dati open source a livello aziendale che sposta automaticamente i dati tra archiviazione a basso costo e basso costo media.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI sotto Linux

http://jfs.sourceforge.net/ - JFS + DMAPI sotto Linux

I controller RAID offrono alcune di queste funzionalità.

"Sfrutta gli SSD di fronte ai volumi di HDD per creare pool di cache del controller ad alta capacità e ad alte prestazioni"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

Mi vengono in mente le istantanee LVM2 ... ma non puoi davvero fare più di una singola istantanea.

SAM-QFS è il prodotto esistente di Sun ed è stato aperto l'anno scorso. È CDDL, quindi puoi solo portarlo direttamente su * BSD.