Esiste un comando copia e verifica in Ubuntu / Linux?

Eseguo il backup di tutte le mie foto digitali in un paio di posti. Ho usato il comando cp, ma - dato il valore personale - hanno iniziato a chiedermi se esiste un modo più affidabile. Non sono estraneo a Linux, Bash, Perl, ecc., Quindi potrei scrivere qualcosa per copiare e confrontare gli hash md5, ma mi chiedevo se qualcosa già esiste (reinvenzione, ruote e cosa no).

Gran parte del mio googling per la copia e (verifica | valido | verifica | hash | conferma) viene visualizzato rsync. Tuttavia, per quanto posso dire, rsync usa solo gli hash per vedere se un file deve essere aggiornato. In seguito non esegue un confronto hash.

Per questo uso, in particolare, i file sono binari e in genere 8-10 MB. Eventuali raccomandazioni per le utility o indicazioni per soluzioni fai-da-te sarebbero molto apprezzate.

Da man rsync, sotto l' -copzione:

-c, --checksum: salta in base al checksum, non a mod-time e dimensioni

Si noti che rsync verifica sempre che ogni file trasferito sia stato correttamente ricostruito sul lato ricevente controllando un checksum di file intero che viene generato quando il file viene trasferito, ma che la verifica automatica dopo il trasferimento non ha nulla a che fare con questa opzione prima del trasferimento "Questo file deve essere aggiornato?" dai un'occhiata.

Diversi anni fa ho avuto le tue stesse richieste. La soluzione che ho scelto è stata quella di utilizzare ZFS tramite il driver ZFS-FUSE sul mio server di archiviazione. Pensavo che le mie foto personali, i documenti scansionati e altri file simili fossero cose a cui potevo accedere solo occasionalmente, quindi potrebbe passare molto tempo, diciamo un anno o più, prima di notare che un file è stato danneggiato a causa di un errore di unità o simili.

A quel punto, tutte le copie di backup che ho potrebbero essere questa versione del file.

ZFS ha un vantaggio rispetto a RAID-5 in quanto può rilevare e riparare errori nei dati memorizzati sui singoli dischi, anche se le unità non riportano un errore di lettura durante la lettura dei dati. Rileverà, tramite checksum, che uno dei dischi ha restituito informazioni danneggiate e utilizzerà i dati di ridondanza per riparare quel disco.

A causa del modo in cui è progettato il checksum in ZFS, ho pensato di poter fare affidamento su di esso per archiviare i dati utilizzati di rado per lunghi periodi di tempo. Ogni settimana eseguo uno "scrub zpool" che passa e rilegge tutti i dati e verifica i checksum.

ZFS-FUSE ha funzionato abbastanza bene per me negli ultimi anni.

In un lontano passato, per un cliente, ho implementato un sistema di database che memorizzava le informazioni di checksum su tutti i file archiviati in una directory specifica. Ho quindi avuto un altro script che sarebbe stato eseguito periodicamente e avrebbe verificato il file rispetto al checksum archiviato nel database. Con ciò potremmo rapidamente rilevare un file danneggiato e ripristinarlo dai backup. Stavamo praticamente implementando gli stessi tipi di controlli che ZFS esegue internamente.

https://sourceforge.net/projects/crcsum/ Estende Linux cp & mv con verifica del checksum

Ho trovato questa utility (Linux e Windows) che fa esattamente quello che vuoi (copia con hash + verifica con hash con log): http://sourceforge.net/projects/quickhash/

L'unico aspetto negativo è che esiste solo come una GUI (nessun accesso alla riga di comando)

Dalla v1.5.0, è possibile eseguire l'hashing di una cartella di origine selezionata, quindi copiarla e ricostruirla in una cartella di destinazione in cui il contenuto viene nuovamente sottoposto a hash per la verifica. Dalla 1.5.5 è possibile utilizzare anche maschere di file selezionate (* .doc; * .xls ecc.).

se stai copiando il file localmente (come è implicito nel tuo riferimento cpinvece di scpetc), quindi solo cmpi file di origine e destinazione ... ma realisticamente, se cpnon sta emettendo una sorta di errore (sulla riga di comando o in il valore restituito dall'esecuzione), non c'è motivo di credere che non funzioni.

se vuoi davvero un backup legittimamente ridondante, prendi in considerazione una soluzione remota come dropbox .