Gli hardlink potrebbero essere utilizzati ai fini della deduplicazione del backup?

Conosco backup completi, backup incrementali e backup decrementali. Tuttavia, mi chiedevo perché nessuno (Windows Backup, TrueImage, Paragon) sembra aver implementato il seguente algoritmo di backup.

È necessario un supporto di backup che supporti i collegamenti, ad esempio NTFS. Idealmente, il supporto di backup ha lo stesso formato per supportare tutte le funzionalità come flussi di dati alternativi (ADS).

1. Il primo backup è un backup completo. Ciò copierà tutti i file sul supporto di backup in una sottocartella di \. Chiamiamo questa cartella L (per "last"). Non esiste un formato file speciale, basta copiare i file.
2. Con il backup successivo, verrà creata una nuova sottocartella di \, chiamiamola C (per "corrente"). I file che sono stati modificati dal backup completo verranno nuovamente copiati dal disco di origine. I file che non sono stati modificati vengono spostati da L a C e un collegamento reale è creato per puntare da L a C .
3. Su backup ripetuti, la stessa procedura verrà applicata con C e un'altra nuova cartella.

C'è qualcosa che mi manca in questo algoritmo che non funzionerebbe?

Mentre ho notato ancora qualche problema, posso vedere i seguenti vantaggi:

• l'ultimo backup ( C ) è sempre un backup completo. Per ripristinare il backup, è necessario solo questo backup. L'utente può eliminare qualsiasi vecchio backup senza distruggere la possibilità di recupero (che non è il caso di backup completi, incrementali e decrementali).
• I vecchi backup agiranno come backup completi a causa dei collegamenti, ma occuperanno molto meno spazio sul disco.
• c'è una cronologia completa delle modifiche ai file se l'utente non ha eliminato un file. Ma a differenza di SVN, è possibile eliminare le vecchie revisioni.
• Lo spostamento di file e la creazione di collegamenti sono operazioni molto veloci. La creazione del backup dovrebbe essere di conseguenza performante.
• È possibile eliminare in modo selettivo i file modificati nei backup precedenti (ad esempio solo quelli di grandi dimensioni), senza eliminare un backup completo

Quello che descrivi è già in uso, con rsynce la sua --link-dest=opzione, tramite dozzine di programmi wrapper, come Dirvish , tra gli altri.

Sembra un piano praticabile. Ridurrebbe il tempo impiegato per visualizzare e utilizzare i backup. Se i backup vengono utilizzati frequentemente e è necessario visualizzare snapshot completi, sarebbe molto utile.

Vorrei cambiare la dicitura "spostato da L a C" per dire semplicemente "fortemente legato da L a C".

Una considerazione: eliminare un file con un numero elevato di collegamenti (in riferimento all'ultimo punto elenco) significa individuare tutti quei collegamenti e rimuoverli. Quindi, recuperare lo spazio in modo selettivo in quel modo sarebbe più impegnativo, ma abbastanza facile da fare con il comando find.

Penso che sia sostanzialmente quello che tu chiami una copia di Delorean. Esiste, ad esempio, l'estensione Shell di collegamento per Windows, che implementa questo comportamento. Hanno una spiegazione abbastanza buona nella loro documentazione:

http://schinagl.priv.at/nt/hardlinkshellext/linkshellextension.html#deloreancopy

Quello che stai descrivendo è essenzialmente uno schema di backup incrementale.

Come sottolinea Dan D. , in realtà viene utilizzato da vari strumenti, in particolare su piattaforme simili a Unix in cui i collegamenti fisici sono gestiti in modo nativo da molti dei programmi che interessano.

Tuttavia, molti programmi Windows non gestiscono molto bene i collegamenti fisici. Ai tempi di FAT, gli hardlink sarebbero stati effettivamente considerati un errore in quanto non era consentito a due nomi nel file system di puntare agli stessi blocchi di dati.

Quello che descrivi è uno schema di backup incrementale perché ogni backup si basa su tutti i backup precedenti. L'unica vera differenza è come si fa riferimento a quei backup precedenti e il fatto che è più semplice eliminare un backup precedente perché i dati verranno effettivamente eliminati solo quando il conteggio dei riferimenti per il file in questione raggiunge lo zero, cosa che succederà quando non è presente più referenziati da qualsiasi backup. Naturalmente il rovescio della medaglia è che è più difficile prevedere esattamente quanto spazio verrà liberato eliminando un dato backup precedente; in casi estremi, ad eccezione dello spazio utilizzato dai metadati del file system e recuperato, potrebbe effettivamente essere zero. (Nessuna modifica tra quel backup e un backup adiacente.)

Nel caso di backup incrementali "normali", è necessario eseguire manualmente i ripristini. Nel caso di ciò che stai descrivendo, il riferimento è implicito. Tuttavia, se si dovesse eliminare tutto ciò che non è stato effettivamente copiato durante (ha un conteggio di riferimento di esattamente uno in) il backup più recente, il backup sarebbe comunque incompleto come lo sarebbe se si eseguissero più backup incrementali e quindi ha tentato di ripristinare solo l'ultimo.

HardLinkShellExtension con la sua "Delorean-Copy" (vedi altra risposta ) non è l'unica soluzione "pronta per l'uso". Ci sono alternative:

• lo strumento console ln.exe dallo stesso programmatore con la stessa funzionalità.
• la soluzione di backup GUI HardLinkBackup che fa esattamente esattamente quello che vuoi.
• usa ln.exeda 1. per fare una copia del vecchio backup nella nuova cartella di backup e poi usa xcopyo robocopyper copiare solo nuovi file e rimuoverne di vecchi (penso che sia --mirrorper robocopy). Provalo per assicurarti che i file modificati vengano eliminati e quindi copiati e non solo modificati (quest'ultimo cambierebbe il file anche nei backup più vecchi a causa dei collegamenti fisici).
• utilizzando xcopyo robocopyper eseguire backup normali e quindi eseguire dfhl.exe /l /r /w /s /h "X:\Backups-parent-folder\."per collegare tutti i file identici.
• uguale a 3. ma finddupe -hardlink X:\Backups-parent-folder\**invece di dfhl.

Disclaimer: ho usato tutti i programmi sopra menzionati tranne finddupe, ma non necessariamente allo stesso modo. E non ho alcuna connessione monetaria o investimento o qualsiasi altra connessione a nessuno dei programmi.