Fai scrivere Linux sul filesystem di rete contemporaneamente alle letture del disco locale

Sommario

Come è possibile configurare Linux per leggere sia da un disco / file system locale che da scrivere su una condivisione di rete contemporaneamente, invece di leggere mentre nessun dato passa sulla rete, quindi inviare quei dati sulla rete mentre il disco locale è inattivo?

È molto più veloce leggere e scrivere contemporaneamente invece di eseguire solo un'operazione e poi l'altra in modo alternato.

Dettagli

Sto trasferendo una grande quantità di dati dai dischi locali su una macchina Linux a un dispositivo NAS.

Sto usando rsyncper copiare basicamente /srv/datain /mnt/nas, che è il monte a CIFS.

È iniziato bene, leggendo a 100 MB / sec e scrivendo sul NAS a 100 MB / sec (limite della rete gigabit), con la lettura e la scrittura simultanee.

Tuttavia ora, poche ore dopo, sto scoprendo che sta leggendo dal disco locale, quindi interrompendo la lettura mentre scrive sul NAS, quindi quando non ci sono più dati da scrivere sul NAS, riprende la lettura dal disco ancora. La rete è inattiva durante la lettura del disco e il disco è inattivo mentre la rete è in uso.

Inutile dire che leggere 200 MB e poi scrivere 200 MB richiede molto più tempo che leggere e scrivere quei 200 MB contemporaneamente.

Come posso configurare il kernel in modo tale che si attacchi al comportamento precedente di lettura e scrittura contemporaneamente, piuttosto che alternare tra lettura e scrittura, eseguendo solo un'operazione alla volta?

Alcune osservazioni: quando il disco locale legge a 100 + MB / sec tutto sembra accadere in parallelo bene, ma una volta che il disco rallenta (sembra andare a soli 20 MB / sec ora per qualche motivo) è allora che questo legge / scrive il passaggio sembra avvenire.

Posso anche eseguire syncmanualmente ogni pochi secondi per far sì che le scritture avvengano in parallelo con le letture (anche se ovviamente a velocità ridotta) tuttavia inserendo syncun whileciclo in modo che funzioni ogni cinque secondi non sembra la soluzione giusta ...

Il kernel sembra memorizzare nella cache circa 1 GB di dati e poi scriverli sulla rete il più velocemente possibile - il che va bene - semplicemente non capisco perché il disco lento debba smettere di essere letto mentre i dati vengono inviati via Rete.

Dopo qualche indagine in più, sembra che questo problema sia meno correlato al kernel e più su come rsynce CIFS interagiscono.

Per quanto ne so, ciò che sta accadendo è che quando si rsyncchiude il file di destinazione, CIFS (e probabilmente qualsiasi file system di rete) assicura che il file sia completamente scaricato e scritto sul disco remoto prima che closeritorni syscall. Questo per garantire a qualsiasi applicazione che, una volta completata l'operazione di chiusura, il file sia stato completamente salvato e non vi siano rischi di ulteriori errori che potrebbero causare la perdita di dati.

Se ciò non avvenisse, sarebbe possibile che un'applicazione chiuda un file, esca pensando che l'operazione di salvataggio sia andata a buon fine, quindi in seguito (forse a causa di un problema di rete) i dati non potrebbero essere scritti dopo tutto, ma a quel punto è troppo tardi perché l'applicazione possa fare qualcosa al riguardo, come chiedere all'utente se desidera invece salvare il file altrove.

Questo requisito significa che ogni volta che rsynctermina la copia di un file, l'intero buffer del disco deve svuotarsi sulla rete prima di rsyncpoter continuare a leggere il file successivo.

Una soluzione alternativa è montare la condivisione CIFS con l'opzione cache=noneche disabilita questa funzione e fa in modo che tutto l'I / O vada direttamente al server. Ciò elimina il problema e consente l'esecuzione in parallelo di letture e scritture, tuttavia uno svantaggio di questa soluzione è che le prestazioni sono leggermente inferiori. Nel mio caso, la velocità di trasferimento in rete scende da 110 MB / sec a 80 MB / sec.

Ciò può significare che se si copiano file di grandi dimensioni, le prestazioni potrebbero essere migliori con il comportamento di lettura / scrittura alternato. Con molti file più piccoli, la disabilitazione della cache comporterà un minor numero di svuotamenti della cache ogni volta che un file viene chiuso, quindi le prestazioni potrebbero aumentare.

Sembra che abbia rsyncbisogno di un'opzione per chiudere i suoi handle di file in un altro thread, quindi può iniziare a leggere il file successivo mentre l'ultimo viene ancora scaricato.

EDIT: ho confermato che cache=noneaiuta sicuramente quando si trasferiscono molti piccoli file (lo porta da 10 MB / sec fino a 80 MB / sec) ma quando si trasferiscono file di grandi dimensioni (1 GB +) si cache=noneriduce il trasferimento da 110 MB / sec agli stessi 80 MB / sec. Ciò suggerisce che il trasferimento lento da molti file di piccole dimensioni riguarda meno la ricerca del disco di origine e di più sull'avere tanti svuotamenti della cache da tutti i file di piccole dimensioni.