Dopo aver letto il thread e-mail originale e la risposta di @ ewwhite che lo hanno chiarito, penso che questa domanda abbia bisogno di una risposta aggiornata, poiché la risposta sopra copre solo metà di essa.
Ad esempio, usiamo l'output sul mio pool. Ho usato il comando zdb -U /data/zfs/zpool.cache -bDDD My_pool. Sul mio sistema avevo bisogno -Udell'arg aggiuntivo per individuare il file di cache ZFS per il pool, che FreeNAS memorizza in una posizione diversa dalla normale; potrebbe essere necessario o meno farlo. Generalmente provare prima zdbsenza -U, e se si ottiene un errore del file cache, utilizzare find / -name "zpool.cache"o simile per individuare il file necessario.
Questo era il mio vero output e l'ho interpretato di seguito:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Cosa significa tutto e capire le dimensioni effettive della tabella di dedup:
L'output mostra due sotto-tabelle, una per i blocchi in cui esiste un duplicato ( DDT-sha256-zap-duplicate ) e una per i blocchi in cui non esiste un duplicato ( DDT-sha256-zap-unique ) /. La terza tabella sotto di essi fornisce un totale complessivo di entrambi, e sotto c'è una riga di riepilogo. Guardando solo le righe "totali" e il riepilogo ci fornisce ciò di cui abbiamo bisogno:
Dimensione DDT per tutti i blocchi che appaiono più di una volta ("DDT-sha256-zap-duplicate") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")
Dimensione DDT per blocchi unici ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")
Statistiche DDT totali per tutte le voci DDT, duplicate + uniche ("istogramma DDT aggregato su tutte le DDT") :
allocated referenced
(= disk space actually used) (= amount of data deduped
into that space)
______ ______________________________ ______________________________
blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
Riepilogo :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Facciamo un po 'di scricchiolii numerici.
Il conteggio dei blocchi funziona in questo modo: Numero di voci relative a blocchi duplicati = 771295, numero di voci relative a blocchi univoci = 4637966, le voci totali nella tabella DDT dovrebbero essere 771295 + 4637966 = 5409261. Quindi il numero di blocchi in milioni (milioni binari cioè!) sarebbe 5409261 / (1024 ^ 2) = 5.158 milioni. Nel sommario troviamo che ci sono un totale di 5,16 milioni di blocchi .
La RAM necessaria funziona in questo modo: le voci 771295 per i blocchi duplicati occupano ciascuna 165 byte nella RAM, e le voci 4637966 per i blocchi univoci occupano ciascuna 154 byte nella RAM, quindi la RAM totale necessaria per la tabella di dedup in questo momento = 841510439 byte = 841510439 / (1024 ^ 2) MBytes = 803 MB = 0,78 GB di RAM .
(Le dimensioni su disco utilizzate possono essere elaborate allo stesso modo, usando le cifre "dimensione su disco". Chiaramente ZFS sta provando a utilizzare l'I / O su disco in modo efficiente e sfruttando il fatto che lo spazio su disco occupato dal DDT non è normalmente non è un problema. Quindi sembra che ZFS stia semplicemente allocando un settore completo da 512 byte per ogni voce, o qualcosa del genere, anziché solo 154 o 165 byte, per mantenerlo efficiente. Ciò potrebbe non includere alcuna indennità per più copie conservate su disco, cosa che solitamente fa ZFS.)
La quantità totale di dati memorizzati e il vantaggio derivante dalla deduzione: dalle statistiche DDT totali, 715 Gbyte ("715G") di dati vengono archiviati utilizzando solo 578 GBytes ("578G") di memoria allocata sui dischi. Quindi il nostro rapporto di risparmio dello spazio di deduplicazione è (715 GB di dati) / (578 GB di spazio utilizzato dopo la deduplicazione) = 1.237 x, che è ciò che ci dice il riepilogo ("dedup = 1,24").