Come posso ridurre l'utilizzo delle risorse quando copio un file di grandi dimensioni?

Devo spostare un file di grandi dimensioni (tabella MySQL corrotta ~ 40 GB) su un server separato per ripararlo. (Quando ho provato a riparare sul mio server di produzione, ha rapidamente ucciso il server).

Per fare ciò, desidero sincronizzare i file .frm, .MYI e .MYD dal mio server di produzione a un server cloud.

Sto copiando i file da / var / lib / mysql / {database} / a / home / {myuser} in modo da non dover abilitare l'accesso root per il comando rsync ed essere sicuro al 100% che il file del database non sia in uso (non dovrebbe essere scritto o letto da, ma ovviamente non voglio chiudere il mio database di produzione per essere sicuro).

Il primo file che ho provato a copiare era di circa 10 GB. Sto trasferendo da una parte del mio server di produzione all'altra, cioè allo stesso array di dischi.

Sfortunatamente il comando di copia "cp nomefilenomefile" ha richiesto così tante risorse da arrestare il server.

Come posso usare meno risorse quando copio il file in un'altra directory? (Non importa davvero quanto tempo ci vuole).

Supponendo che riesco a farlo, quale utilizzo delle risorse posso aspettarmi quando risincronizzo il file sul cloud?

Qualcuno può suggerire un modo migliore per farlo? Sto esaurendo rapidamente lo spazio su disco, quindi è necessario riparare e archiviare questa tabella al più presto.

Hai provato con il nice -n10prefisso al comando?

10è il valore predefinito. L'intervallo va da -20(priorità massima) a 19(minima).

Due scelte oltre alla limitazione della larghezza di banda rsync:

• ionice -c 3 cp foo bar
• buffer -u 150 -m 16m -s 100m -p 75 -i foo -o bar

ionicesi interfaccia con lo scheduler I / O. bufferè un buffer circolare pensato per aiutare i dispositivi a caratteri ad essere più efficienti, ma -u 150metterà in pausa 150 microsecondi tra le scritture che, secondo il manuale, potrebbero essere sufficienti a dare spazio a un disco per respirare.

Entrambi ionicee buffersono disponibili in una build Ubuntu di serie. iotopè utile se ti capita di avere CONFIG_TASK_DELAY_ACCT configurato nel tuo kernel, ma la mia casella Ubuntu non ha fortemente limitato l'usabilità del comando. So già quale comando sta affogando il mio disco rigido, voglio solo dargli un po 'di respiro.

Inoltre, mentre la copia è in corso, osserva l'output di iostat -x 1(di solito nel pacchetto sysstat) e verifica che il campo% occupato per il dispositivo sia pari o inferiore al 90% durante la copia. Se è al 99-100%, stai morendo di fame altri processi per l'I / O.

usa rsync con l'opzione --bwlimit = KBPS (limita la larghezza di banda I / O; KByte al secondo). giocare con un file più piccolo e cercare di trovare un mix ottimale tra velocità di trasferimento e utilizzo del sistema. Monitor nella seconda shell con "vmstat 1"

Un'alternativa è:

scp -l ${KBPS} ${src} ${dest}

Ma non credo che funzionerà se $ {src} è un file in crescita ... puoi suggerire un modo per copiare e aspettare che la fonte sia chiusa ...