Ottimizzazione di rsync per il trasferimento rapido di file di grandi dimensioni


19

Questo è quello di cui ho bisogno:

  • Demone Rsync in esecuzione sul server di origine. Il server di destinazione esegue un pull rsync come di seguito:
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • Enormi file binari (da 3 GB a 5 GB) vengono copiati dalla macchina di origine alla destinazione su una LAN. Quindi nessuna crittografia / decrittografia richiesta. Quindi non usare SSH. La macchina di destinazione si collega direttamente al demone rsync.
  • La cartella di destinazione sarà sempre vuota prima di rsync pull. Quindi non devo preoccuparmi di aggiornare in modo condizionale alcuni file. Rsync pull creerà sempre nuovi file nella destinazione (non aggiornamento). Quindi non ho bisogno di rsync per calcolare i checksum.

Non sono soddisfatto della quantità di CPU consumata da rsync alla fine della ricezione? Quali opzioni rsync mi aiuteranno a ottimizzare l'utilizzo di rsync nel caso sopra spiegato. Ciò di cui sono preoccupato è che rsync potrebbe fare di più di quello di cui ho bisogno. file checksum rsync. Non ne ho bisogno.

Inoltre vorrei vedere miglioramenti di velocità.

La modifica della dimensione del blocco, la disabilitazione del checksum ecc. Saranno di aiuto?


Non usare rsync se non ci sono delta da trasferire.
womble

3
@womble: quale strumento dovrei usare allora? Qui è stato suggerito Rsync- serverfault.com/questions/384467/…
Varun

netcat o scp con la cifra nulla.
womble

3
Scp con codice null? Sei sicuro che scp supporti la cifratura nulla. Potete per favore fare un esempio o indicarmi risorse pertinenti?
Varun,

Risposte:


25

Sembra che potresti voler dare un'occhiata al --whole-fileo l' -Winterruttore. Questo è abilitato di default se rsync sta eseguendo copie del filesystem locale, ma penso che i documenti ne raccomandino l'uso se la velocità della LAN è alta e si sincronizza sulla rete.

Fondamentalmente, disabilita l'algoritmo delta rsync e trasferisce l'intero file se ritiene che sia diverso.

Non dovresti preoccuparti del checksum a meno che non ti costringa -c. Per impostazione predefinita, esamina solo l'ora dell'ultima modifica e le dimensioni del file e presuppone che i file siano diversi se tali valori sono diversi.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.