Trasferimento di circa 300 GB di file da un server a un altro

Ho circa 200.000 file che sto trasferendo su un nuovo server oggi. Non ho mai fatto nulla su così vasta scala prima e volevo ottenere qualche consiglio su come dovrei farlo. Li sto spostando tra due distribuzioni Centos 6, e sono in diverse località del paese. Non ho abbastanza spazio sul disco rigido sul server originale per caricare tutte le directory e i file in un unico tarball, quindi la mia domanda è: come dovrei trasferire tutti questi file? rsync? un modo speciale di usare rsync? Qualsiasi input / suggerimento su come farlo sarebbe sorprendente.

Grazie

EDIT: Per coloro che si chiedono, consiglio vivamente di utilizzare a screenquando si esegue un rsynccomando di grandi dimensioni come questo. Soprattutto quando può verificarsi qualcosa di stupido e si perde la connessione al server A da cui si sta eseguendo il rsynccomando. Quindi basta staccare lo schermo e riprenderlo più tardi.

Giusto per dare corpo alla risposta di Simon , rsyncè lo strumento perfetto per il lavoro:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Supponendo che tu abbia accesso ssh al computer remoto, vorresti fare qualcosa del genere:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Questo copierà la directory path/to/local/fooper /path/to/remote/baril server remoto. bar/fooVerrà creata una nuova sottodirectory denominata . Se vuoi solo copiare il contenuto di una directory, senza creare una directory con quel nome sulla destinazione, aggiungi una barra finale:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Questo copierà il contenuto foo/nella directory remota bar/.

Alcune opzioni pertinenti:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Dipende dalla velocità con cui deve essere copiato e dalla larghezza di banda disponibile.

Per una connessione di rete scadente, considerare la larghezza di banda di un camion pieno di nastri. (Leggi: invia un HDD da 2,5 pollici o semplicemente guidalo lì da solo. Le unità da 300 gigabit dovrebbero essere facili da trovare).

Se è meno critico in termini di tempo o hai molta larghezza di banda, allora rsync è fantastico. Se si verifica un errore, è possibile continuare senza copiare nuovamente i file precedenti.

[Modifica] Ho dimenticato di aggiungere che è possibile eseguire rsync più volte se i dati vengono utilizzati durante la copia.

Esempio:
1) Dati in uso. Rsync -> Tutti i dati vengono copiati. Questo potrebbe richiedere del tempo.
2) Eseguire di nuovo rsync, vengono copiati solo i file modificati. Questo dovrebbe essere veloce.

Puoi farlo più volte fino a quando non ci sono cambiamenti, oppure puoi farlo in modo intelligente / sicuro rendendo i dati di sola lettura durante la copia. (ad es. se si trova su un set condiviso usato che condivide in sola lettura. Oppure sincronizza i dati, quindi di notte imposta la condivisione in sola lettura mentre la esegui una seconda volta).

Vorrei andare per rsync! Lo sto usando per fare il backup del mio server su un server esterno e funziona benissimo. Di solito ci sono alcuni MB da copiare ma in alcuni giorni arriva fino a 20-30 GB e ha sempre funzionato senza problemi.

rsync su NFS utilizzando la connessione Gigabit impiegherà circa 10 ore. Sarà meglio copiare i dati sull'HDD e spostarli tra i server. Se devi creare una copia uno-a-uno del disco, usa dd o qualcosa del genere per creare un'immagine non elaborata del disco. L'uso di ssh (scp) causa un enorme sovraccarico. Testato empiricamente sulla connessione Gigabit. rsync è utile per eseguire la sincronizzazione incrementale tra due server utilizzati in HA o in modalità backup. Suppongo.

usa NFS e tar / untar per la prima volta (in questo caso NFS è il protocollo più veloce, tar per risparmiare larghezza di banda della rete grazie a un maggiore utilizzo della CPU)

tar cf - * | ( cd /target; tar xfp -)

la / e prossima / e usare rsync