Windows Server 2012 R2 ridotto da 356 GB a 1,32 GB


13

Sto sperimentando la deduplicazione su uno spazio di archiviazione di Server 2012 R2. L'ho lasciato eseguire la prima ottimizzazione della dedupla la scorsa notte e sono stato contento di vedere che ha richiesto una riduzione di 340 GB.

inserisci qui la descrizione dell'immagine

Tuttavia, sapevo che era troppo bello per essere vero. Su quell'unità, il 100% della dedupe proveniva dai backup di SQL Server:

inserisci qui la descrizione dell'immagine

Ciò sembra irrealistico, considerando che nella cartella ci sono backup di database di dimensioni 20 volte superiori. Come esempio:

inserisci qui la descrizione dell'immagine

Calcola che un file di backup da 13,3 GB è stato dedotto a 0 byte. E, naturalmente, quel file in realtà non funziona quando ho fatto un ripristino di prova di esso.

Per aggiungere la beffa al danno, c'è un'altra cartella su quell'unità che contiene quasi un TB di dati che avrebbe dovuto dedurre molto, ma non è così.

La deduplicazione di Server 2012 R2 funziona?


5
Devo ricordarmelo. "Naturalmente non ho cancellato i tuoi dati perché mi hai fatto incazzare. Li ho deduperati a 0 byte, tutto qui."
HopelessN00b

È possibile che stia facendo il deduping ipotizzando che i dati siano relativamente gli stessi da una notte all'altra. Vale a dire, se si dispone del primo e dell'ultimo backup, l'unica cosa ogni notte sarebbe un'istantanea delle differenze, come VSS. In teoria, potrebbe essere possibile dedurlo a 0 dato che la prima e l'ultima copia potrebbero essere sufficienti per rigenerare il file nel mezzo. Ma dal momento che non è riuscito un ripristino, aspetterò di vedere cosa ti viene in mente come spiegazione. Ma il tuo test non è promettente ..
MikeAWood,

@MikeAWood ha decodificato anche backup di database totalmente diversi su 0 byte, il che è sicuramente sbagliato. Una delle cose per cui desideravo la dedupe è, come hai sottolineato, il 90% dei backup da una notte all'altra sono identici.
Mark Henderson

@MarkHenderson se imposti una nuova unità e copi tutto su di essa, allora funziona? Indovinando pigramente. Forse è simile a DFS in cui il processo di visualizzazione dei dati iniziali deve essere eseguito o non funzionerà correttamente. I tuoi risultati sono strani, nessuna domanda. Spero che tu lo
capisca

@MikeAWood - Non ci ho provato. Da allora ho rovinato quell'unità e l'ho ricreata con diverse impostazioni di deduplicazione, quindi vedrò cosa succede stasera quando viene eseguito un altro dump
Mark Henderson

Risposte:


5

La deduplicazione funziona.

Con la deduplicazione, Dimensione sul campo del disco diventa insignificante. I file non sono più i soliti "file" ma i punti di analisi e non contengono dati reali ma metadati per il motore di dedup per ricostruire il file. Sono consapevole del fatto che non è possibile ottenere risparmi per file poiché l'archivio di blocchi di dedup è per volume, quindi si ottengono solo risparmi per volume. http://msdn.microsoft.com/en-us/library/hh769303(v=vs.85).aspx

Forse il tuo processo di deduplicazione non era ancora stato completato, se alcuni altri dati non fossero stati ancora dedotti. Non è super veloce, è limitato nel tempo per impostazione predefinita e potrebbe essere limitato dalle risorse a seconda dell'hardware. Controlla la pianificazione del dedup da Server Manager.

Ho distribuito il dedup su diversi sistemi (Windows 2012 R2) in diversi scenari (SCCM DP, diversi sistemi di distribuzione, file server generici, file server delle cartelle home dell'utente ecc.) Da circa un anno ormai. Assicurati solo di essere completamente patchato, ricordo diverse patch per la funzionalità di deduplicazione (aggiornamenti cumulativi e hotfix) dall'RTM.

Tuttavia ci sono alcuni problemi che alcuni sistemi non possono leggere i dati direttamente dai file ottimizzati nel sistema locale (IIS, SCCM in alcuni scenari). Come suggerito da yagmoth555, dovresti provare a espandere-DedupFile per non ottimizzarlo o semplicemente fare una copia del file (il file di destinazione non verrà ottimizzato fino alla successiva esecuzione dell'ottimizzazione) e riprovare. http://blogs.technet.com/b/configmgrteam/archive/2014/02/18/configuration-manager-distribution-points-and-windows-server-2012-data-deduplication.aspx https: //kickthatcomputer.wordpress .com / 2013/12/22 / no-input-file-specificati-windows-server-2012-deduplicazione-on-iis-con-php /

Se il tuo backup SQL è effettivamente danneggiato, credo che sia a causa di un problema diverso e non legato alla tecnologia di deduplicazione.


Grazie per la risposta. La tua risposta rispecchia le mie scoperte. Ho avuto dei malintesi sulla dedupla e la mia metodologia di test era difettosa.
Mark Henderson

@Segna qualcosa sui tuoi equivoci e sulla metodologia di test che potresti condividere ...? Forse in un post sul blog? Sarebbe interessante imparare come non riesco a pensare a dove tu (e quindi io) potreste aver sbagliato. EDIT: ora ho visto la tua risposta ... ma un post sul blog sarebbe una buona lettura se ne hai uno.
Ashley,

1
@AshleySteel In realtà non blog più. Abituato una volta. Il tutto fondamentalmente mi è venuto in mente non capire come funziona la dedupe di Windows Server ...
Mark Henderson

2

Sembra che potrei aver saltato la pistola dicendo che questo tipo di deduplicazione non è possibile. Apparentemente, è del tutto possibile, perché oltre a questi backup di SQL Server non compressi, ho anche backup a livello di istantanea VMWare delle VM host.

Come suggerito da yagmoth555, ho eseguito uno Expand-DedupeFilesu alcuni di questi file a 0 byte e alla fine ho ottenuto un file totalmente utilizzabile.

Ho quindi esaminato la mia metodologia di test per capire come avevo determinato che i file non andavano bene e ho trovato un difetto nei miei test (permessi!).

Ho anche aperto un file di backup deduped a 0 byte in un editor esadecimale e tutto sembrava a posto .

Quindi ho adattato la mia metodologia di test e tutto sembra effettivamente funzionare. Quando l'ho lasciato, i dedupi sono effettivamente migliorati e ora ho risparmiato più di 1,5 TB di spazio grazie a dedupe.

Ho intenzione di testarlo più accuratamente prima di dare una spinta alla produzione, ma in questo momento sembra promettente.


0

Sì, ma ho visto solo il caso di un cluster hyperv db dedotto. 4 TB a 400 grammi e la VM era in esecuzione. Il sistema operativo è stato completamente patchato.

Per il tuo file di backup sql, è un dump che puoi leggere in esso? Vorrei controllare il contenuto. Per quella parte non posso rispondere come dedup file ASCII.


Sono file binari, ma come ho già detto, tutto ciò che è in essi è completamente corrotto. In realtà non ho controllato i contenuti in un editor esadecimale, e da allora ho rovinato quell'unità e ricreato con diversi parametri di dedupla, per vedere cosa succede stasera.
Mark Henderson

1
@MarkHenderson Può essere una corruzione del blocco nei metadati di deduplicazione poiché la dimensione era 0. Citato; "La deduplicazione aumenta l'impatto della corruzione di un singolo blocco poiché un blocco popolare può essere referenziato da un gran numero di file. Immagina che un blocco a cui fa riferimento 1000 file venga perso a causa di un errore di settore; subiresti immediatamente una perdita di 1000 file. " Il cmd Expand-DedupFile escluderà se si tratta di un danneggiato .bak o di una dedup corruzione
yagmoth555
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.