Come posso rallentare rsync?

Sto cercando di copiare il contenuto di una chiavetta USB non funzionante. Se leggo i dati troppo velocemente, il chip del controller dell'unità si surriscalda e l'unità scompare dal sistema. Quando ciò accade, devo scollegare l'unità, attendere circa un minuto affinché si raffreddi, ricollegarlo e riavviare la copia.

Ho un vecchio backup del contenuto dell'unità, quindi il modo ovvio per ottenere il resto dei dati è quello di utilizzare rsyncper aggiornare il backup, ma questo si verifica nell'intera "lettura troppo veloce, l'unità svanisce e devo ricominciare da capo "problema. C'è un modo per dire rsyncdi leggere solo X megabyte di dati al minuto? In alternativa, è possibile dirgli di sospendere le operazioni quando l'unità scompare e riprendere quando viene ricollegato?

A differenza dell'esperienza di DopeGhoti, il --bwlimitflag limita il trasferimento dei dati, con my rsync (v3.1.2).

test:

$ dd if=/dev/urandom bs=1M count=10 of=data
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.0871822 s, 120 MB/s

$ du -h data
10M     data

$ time rsync -q data fast
0.065 seconds

$ time rsync -q --bwlimit=1M data slow
10.004 seconds

(nota: il mio timeoutput sembra diverso dalla maggior parte delle timeinvocazioni ( zshfunzione), quei tempi non sono stati modificati da me)

Altrimenti, forse qualcosa sulla falsariga di un doppio -execin find. Io credo che rsync -Rdovrebbe creare e copiare le cartelle principali, ma se non lo fa, allora cp --parentsdovrebbe.

$ find /failing/usb -exec rsync -R {} /somewhere/safe/ \; -exec sleep 1 \;

Nota : controlla anche ddrescue , potrebbe essere giusto quello che stai cercando :)

Un po 'di una soluzione MacGyver, ma in passato ho avuto un buon successo: inserisci
un vecchio hub USB 1 tra la chiavetta e il computer. In nessun modo all'inferno si copierà velocemente in quel modo :-)

Altre possibilità: se hai un'altra chiavetta disponibile, inseriscila su un'altra porta USB collegata allo stesso hub di root (in modo da condividere la larghezza di banda con la chiavetta problematica).
Ora avvia una grande operazione di scrittura sullo stick extra in modo che entrambi gli stick siano in competizione per la larghezza di banda. Per un ulteriore controllo è possibile utilizzare ionice per ridurre ulteriormente la priorità sullo stick del problema.

È possibile utilizzare rsync --bwlimit=RATEper limitare la velocità di trasferimento dei file che, in base ai commenti seguenti, in realtà sembra funzionare in modo specifico limitando la velocità di lettura dei dati, che è esattamente quello che stai cercando.

Altre soluzioni, oltre a rsync --bwlimit=100, per 100 KiB / s.

1. Utilizzare ddrescuecon l' --max-read-rateopzione per una copia completa del disco. Ciò consentirà anche di riavviare una copia completa del disco da dove era stata interrotta dopo un errore.

   ddrescue --max-read-rate=100K /failing/usb output.img output.logfile
   

ddrescueha anche molte altre opzioni rilevanti per il recupero dei dati, vedere il manuale qui .

2. Utilizzare pv("visualizzatore di condotte ") con l' --rate-limitopzione o lo throttlestrumento per classificare i tubi di limite. pvpuò anche mostrare progressi. Puoi farlo funzionare per qualsiasi strumento che utilizza una pipe o può usare una pipe:

   tar -cf - /failing/usb | throttle -K 100 | tar -C /your/outputfolder/ -xvf -
   

   o

   tar -cf - /failing/usb | pv --rate-limit 100k | tar -C /your/outputfolder/  -xvf -
   

   Dai un'occhiata alla pagina man pv per ulteriori impostazioni ed esempi. Per throttle, potresti voler provare anche l' -wopzione, che determina come viene calcolata la velocità, vedi la manpage dell'acceleratore .