Configurazione per principianti ZFS con unità di dimensioni diverse

Ci scusiamo per le domande su Noobie, ho cercato su Google ogni sorta di procedure dettagliate per creare il mio raid ZFS, ma non riesco a trovare i collegamenti corretti per le risposte che sto cercando.

Questo è il mio primo tentativo per un RAID, e da tutto ciò che ho letto, sembra che zfs sia il modo migliore di procedere.

1. Cosa succede se devo modificare l'hardware sottostante il pool di zfs? Come il mobo / processore, cosa succede se questo muore su di me in un anno o due; posso portare il mio pool zfs in qualche modo?
2. Ho un bel set di unità di dimensioni diverse e sto cercando di ottenere la maggior quantità di spazio di archiviazione con ridondanza. Qual è la migliore configurazione per questa configurazione e quanto spazio perderò usando queste unità di dimensioni diverse. Non lo sto creando per nessun requisito di velocità, voglio solo un file server per più HTPC. Le mie unità attualmente disponibili per questo sono:
   • 1x unità "ibrida" da 500 GB
   • 1x unità da 1 TB
   • 1x unità da 3 TB
   • 1x unità da 4 TB (verrà aggiunto in seguito al pool, attualmente con tutti i dati delle unità sopra elencate)
3. L'aggiunta dell'unità da 4 TB al pool sarà in seguito un problema di qualsiasi tipo?
4. Qualche consiglio su un sistema operativo Linux per eseguire tutto questo, e dovrei usare un'unità separata per il sistema operativo? Conosco Ubuntu, RHEL e OpenSUSE / SLES.

Qualsiasi aiuto è molto apprezzato, sto continuando a leggere su questo, solo un sacco di cose da prendere in una volta, anche qualsiasi link su dove iniziare sarebbe molto utile.

Cosa succede se devo modificare l'hardware sottostante il pool zfs? Come il mobo / processore, cosa succede se questo muore su di me in un anno o due; posso portare il mio pool zfs in qualche modo?

Un pool ZFS non dipende dall'hardware. Assicurati solo che il tuo HBA (Host Bus Adapter) non stia facendo qualcosa come crittografare i tuoi dati a livello hardware. ZFS funziona al meglio con un HBA come un LSI 9211-8i o un IBM m1015 con flashing incrociato per utilizzare il firmware 9211-8i, non una scheda RAID "hardware" a tutto campo.

Ho un bel set di unità di dimensioni diverse e sto cercando di ottenere la maggior quantità di spazio di archiviazione con ridondanza. Qual è la migliore configurazione per questa configurazione e quanto spazio perderò usando queste unità di dimensioni diverse. Non lo sto creando per nessun requisito di velocità, voglio solo un file server per più HTPC. Le unità attualmente disponibili per questo sono: 1x unità "ibrida" da 500 GB 1x unità da 1 TB 1x unità da 3 TB 1x unità da 4 TB (verranno aggiunte al pool in seguito, attualmente con tutti i dati delle unità sopra elencate)

Se fossi in te, venderei le unità più piccole e metterei i soldi in unità più grandi della stessa dimensione. Ti renderà la vita molto più semplice. Inoltre, non puoi semplicemente aggiungere unità a un pool ZFS. Ci sono vincoli. Leggi qui .

L'aggiunta dell'unità da 4 TB al pool sarà in seguito un problema di qualsiasi tipo?

Possibilmente. Sono in una posizione simile. A un certo punto in futuro dovrò aumentare la mia capacità di archiviazione. In quel momento ho intenzione di acquistare un secondo HBA e un nuovo array di unità più grandi. Quindi trasferirò tutti i dati dalle mie unità esistenti alle mie nuove unità e poi venderò le mie unità esistenti. Potrebbero esserci altri modi (più economici) per aggirare questo, ma farlo in questo modo:

1. Mantiene tutte le mie unità della stessa dimensione
2. Ha solo il costo aggiuntivo di un ulteriore HBA, che comunque non è una brutta cosa avere in giro
3. Non mi richiede di sostituire i miei dischi uno alla volta, ri-argentando dopo ogni sostituzione.

Qualche consiglio su un sistema operativo Linux per eseguire tutto questo, e dovrei usare un'unità separata per il sistema operativo? Conosco Ubuntu, RHEL e OpenSUSE / SLES.

Non usare Linux, non ha il supporto ZFS nativo. Il supporto Linux di ZFS proviene da ZFS su Linux e zfs-fuse . Lo stato attuale di ZFS è in evoluzione mentre Oracle fa del suo meglio per rovinarlo. ZFS probabilmente si ramificherà alla versione 28 nel prossimo futuro, quindi non creare il tuo pool ZFS con versioni superiori a 28 a meno che tu non sia sicuro al 100% di voler aderire a una soluzione Oracle. Attualmente FreeBSD e i suoi spin-off supportano ZFS versione 28.

Dato che sei un sostenitore di ZFS autoproclamato, consiglierei FreeNAS . Lo uso da un po 'di tempo e ne sono abbastanza contento. Consentirà sicuramente la configurazione più semplice per te.

Pensieri aggiuntivi:

Assicurati di scegliere il livello di parità corretto per il tuo caso d'uso specifico. In particolare, assicurati di pianificare intorno a URE . Fondamentalmente non si desidera utilizzare RAID 5 (RAID Z1) se si utilizzano unità di dimensioni superiori a 2 TB. Vi sono alcuni altri fattori da considerare che potrebbero richiedere di aumentare anche il livello dei dati di parità. Ecco un buon articolo sull'argomento.

Aggiornare:

Sono passati 1,5 anni da quando ho pubblicato questa risposta e in quel momento ho dato un'altra possibilità a ZFS su Linux (in particolare il server Ubuntu). Ha fatto molta strada da quando l'ho provato per la prima volta e finora sono abbastanza felice. La mia ragione per cambiare era le restrizioni di installazione su FreeNAS e sul sistema di jailing. Volevo usare il mio server per qualcosa di più di un semplice server NAS e FreeNAS lo rende difficile. Il sistema di jailing è buono e molto sicuro, ma non avevo davvero bisogno di quel livello di sicurezza nella mia casa e non volevo occuparmi di accedere a un carcere ogni volta che volevo decomprimere un file. Penso che FreeNAS sia ancora una buona scelta se stai appena iniziando con ZFS (a causa dell'interfaccia web) o se vuoi solo un dispositivo NAS (cioè non sono necessarie altre funzionalità del server).

1: non c'è problema a cambiare nulla. Il pool dovrebbe essere importabile indipendentemente dalla CPU, dalla scheda madre o da qualcosa di simile.

2: ZFS funziona al meglio con dispositivi della stessa dimensione. Inoltre, se si desidera la ridondanza, i dispositivi più grandi di quello più piccolo perderebbero le dimensioni extra. Infine, non è possibile aggiungere un dispositivo (ad es. Il disco da 4 TB) a un RAIDZ. Se si desidera solo la ridondanza dei metadati (di cui dubito), è possibile creare una striscia con tutti i dischi e aggiungere successivamente il disco da 4 TB al pool.

In alternativa, è possibile innanzitutto creare un pool da 500 GB contenente un mirror con disco 1 e disco 2 e conservare il disco 3 per dopo, quindi aggiungere un secondo mirror quando si dispone del disco da 4 TB disponibile con il disco 3 e il disco 4 creando un pool da 3,5 TB .

3: sì, vedi # 2

4: nessuna raccomandazione.

Se vuoi creare un raid con zfs usando diverse dimensioni del disco devi usare "zpool create (nome del tuo pool) raidz1 -f sdb sdc sdd" il -f arqument forza zfs per usare esempi di dimensioni diverse 500 gb 1 tb 250 gb hd

Si scopre che non è possibile creare con ashift = 12 in zfs-fuse:

# zpool create -n -o ashift=12 test /dev/disk/by-id/scsi-SATA_......
property 'ashift' is not a valid pool property

Ma funziona con quello di github zfs + spl 0.6.5.x:

# dd if=/dev/zero of=/tmp/testfile bs=1M count=64
# zpool create -o ashift=12 test /tmp/testfile
# dd if=/dev/zero of=/tmp/testfile8 bs=1M count=64
# zpool create -o version=8 test8 /tmp/testfile8

La risposta di ubiquibacon copre tutte le tue domande dirette, ma ho pensato di suonare in qualche "esperienza di prima mano".

ZFS su FreeBSD è la mia principale area di esperienza, anche se la maggior parte delle implementazioni di ZFS sono abbastanza simili da rendere le risorse analoghe. Ho scelto FreeBSD per la mia installazione perché mi offre un sistema operativo generico che posso usare per qualunque scopo subdolo scelga, al contrario di una soluzione più amichevole ma speciale come FreeNAS. ZFS, configurato correttamente, può essere un ottimo sistema. ZFS configurato in modo errato può essere un dolore totale. È un filesystem relativamente nuovo e non è ben compreso come i filesystem più vecchi e più consolidati (come UFS2 in FreeBSD o ext2 / 3/4 su Linux. Le mailing list sono abbastanza attivee probabilmente vale la pena dedicare un po 'di tempo a scansionarli per capire cosa ci si aspetta da te, in caso di problemi. Le persone su di loro sono generalmente amichevoli e molto utili finché si è disposti ad aiutare a capire cosa sta succedendo. Per questa "novità" generale, ottieni funzioni pulite come la compressione che può essere attivata in molte circostanze con poca perdita e funzionalità pericolose come la deduplicazione , che può richiedere molte risorse , che è impossibile disattivare senza copiare tutti i tuoi dati e può rendere il tuo computer non avviabile (come il mio, un giorno felice).

È un ottimo file system se uno qualsiasi dei vantaggi supera i compromessi. Sono stato felice con il mio nel complesso.

Una soluzione ad hoc a questo consiste nel partizionare i dischi in set di partizioni di dimensioni uguali e quindi creare più pool usando set di partizioni di dimensioni uguali.

Potrebbero esserci alcuni problemi di prestazioni dovuti alla presenza di più pool sugli stessi dischi fisici, ma è possibile utilizzare la maggior parte dello spazio sui dischi.