qual è il modo più rapido e affidabile per trasferire molti file?

Sto cercando di trasferire circa 100.000 file per un totale di 90 GB. In questo momento sto usando il demone rsync ma è lento 3,4mb / se devo farlo diverse volte. Mi chiedo quali opzioni ho che potrebbero massimizzare una connessione a 100 mbit su Internet ed essere molto affidabili.

Hai considerato Sneakernet ? Con insiemi di dati di grandi dimensioni, la spedizione durante la notte sarà spesso più veloce ed economica rispetto al trasferimento via Internet.

Come? O TL; DR

Il metodo più veloce che ho trovato è una combinazione di tar, mbuffere ssh.

Per esempio:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Usando questo ho ottenuto trasferimenti di rete locale sostenuti oltre 950 Mb / s su collegamenti da 1Gb. Sostituisci i percorsi in ciascun comando tar per essere appropriati per quello che stai trasferendo.

Perché? mbuffer!

Il maggiore collo di bottiglia nel trasferimento di file di grandi dimensioni su una rete è, di gran lunga, l'I / O del disco. La risposta è mbuffero buffer. Sono in gran parte simili ma mbufferpresenta alcuni vantaggi. La dimensione del buffer predefinita è 2 MB per mbuffere 1 MB per buffer. I buffer più grandi hanno maggiori probabilità di non essere mai vuoti. La scelta di una dimensione del blocco che è il minimo comune multiplo della dimensione del blocco nativo sul filesystem di destinazione e di destinazione fornirà le migliori prestazioni.

Buffering è la cosa che rende tutto la differenza! Usalo se ce l'hai! Se non lo hai, prendilo! Usare (m}?bufferpiù qualsiasi cosa è meglio di qualsiasi cosa da solo. è quasi letteralmente una panacea per i trasferimenti di file di rete lenti.

Se si trasferiscono più file, utilizzare tarper "raggrupparli" in un unico flusso di dati. Se si tratta di un singolo file è possibile utilizzare cato il reindirizzamento I / O. Il sovraccarico di tarvs. catè statisticamente insignificante, quindi uso sempre tar(o zfs -senddove posso) a meno che non sia già un tarball . Nessuno di questi è garantito per darti metadati (e in particolare catnon lo farà). Se vuoi metadati, lo lascerò come esercizio per te.

Infine, l'utilizzo sshper un meccanismo di trasporto è sia sicuro che comporta un carico minimo. Ancora una volta, l'overhead di sshvs. ncè statisticamente insignificante.

Citi "rsync", quindi suppongo che tu stia usando Linux:

Perché non crei un file tar o tar.gz? Il tempo di trasferimento in rete di un file di grandi dimensioni è più veloce di molti file di piccole dimensioni. Potresti anche comprimerlo se lo desideri ...

Tar senza compressione:

Sul server di origine:

tar -cf file.tar /path/to/files/

Quindi alla fine della ricezione:

cd /path/to/files/
tar -xf /path/to/file.tar

Tar con compressione:

Sul server di origine:

tar -czf file.tar.gz /path/to/files/

Quindi alla fine della ricezione:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Dovresti semplicemente usare rsync per eseguire l'effettivo trasferimento dei file (tar | tar.gz).

Si potrebbe provare l' tare sshtrick descritto qui :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

questo dovrebbe essere riscrivibile come segue :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Perderesti comunque le --partialcaratteristiche di rsyncquesto processo. Se i file non cambiano molto frequentemente, rsyncvale la pena vivere con un'iniziale lenta, poiché in futuro andrà molto più veloce.

È possibile utilizzare varie opzioni di compressione di rsync.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

il rapporto di compressione per i file binari è molto basso, quindi puoi saltare quei file usando --skip-compress, ad es. iso, tarball già archiviati e compressi ecc.

Sono un grande fan di SFTP. Uso SFTP per trasferire file multimediali dal mio computer principale al mio server. Ottengo buone velocità, tramite LAN.

SFTP è affidabile, ci proverei, dato che è facile da configurare e in alcuni casi potrebbe essere più veloce.