Da Linux a Linux, trasferimento da 10 TB?

9

Ho esaminato tutte le precedenti domande simili, ma le risposte sembravano essere ovunque e nessuno stava spostando molti dati (100 GB sono diversi da 10 TB).

Ho circa 10 TB che devo spostare da un array RAID a un altro, Gigabit Ethernet, l'enciclopedia libera, i file system XFS . La mia più grande preoccupazione è far morire il trasferimento a metà strada e non riuscire a riprenderlo facilmente. La velocità sarebbe buona, ma garantire il trasferimento è molto più importante.

Normalmente mi limiterei a tar e netcat, ma l'array RAID da cui mi sto spostando è stato molto traballante negli ultimi tempi, e devo essere in grado di recuperare e riprendere se cala a metà processo. Dovrei guardare rsync ?

Analizzando un po 'di più questo, penso che rsync potrebbe essere troppo lento, e vorrei evitare che ciò richieda 30 giorni o più. Quindi ora sto cercando suggerimenti su come monitorare / riprendere il trasferimento con netcat .

— lostincode
fonte

A volte ho bisogno di fare trasferimenti di file di grandi dimensioni (ma non 10 TB;) rsync ha molti flag, alcuni di questi potrebbero influire sulle prestazioni di un trasferimento di file di grandi dimensioni (penso che --checksum e --archive potrebbero rallentarti, per esempio. farebbe una grande differenza quando si trasferiscono 10 TB.). Qualcuno può consigliare buone opzioni per aiutare a ottimizzare le prestazioni di un trasferimento di file così grande? L'ottimizzazione sarebbe d' --block-size=SIZEaiuto?

— Stefan Lasiewski,

c'è un modo per rimuovere il sovraccarico ssh?

— perso

1

impostare rsyncd sull'estremità ricevente? non c'è bisogno di ssh

— cpbills

3

Esegui un demone rsync sul lato ricevente e il client sul lato inviante.

— In pausa fino a ulteriore avviso.

2

Se non riesci a configurare un demone rsync su un lato e sei bloccato con SSH, puoi ridurre l'overhead di crittografia con una crittografia meno buona come: rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

sì, rsync

al di fuori di Oddball, le caratteristiche asincrone con cui è uscito DRBD di recente.

— cagenut
fonte

1

+1 per Rsync. Re dei trasferimenti da sistema a sistema su Linux.

— Grufftech,

+1, rsync (ed è la sua controparte Windows DeltaCopy) sono la fine di un'efficiente duplicazione di file generici da server a server.

— Chris S,

1

+1 per rsync, ma aggiungerei che potrebbe essere più veloce farlo "localmente" su un mount NFS invece di incorrere nell'overhead del protocollo rsync o SSH.

— James Sneeringer,

2

Non sottovalutare mai la larghezza di banda di una station wagon piena di nastri. 10 TB sarebbero fattibili con apparecchiature NAS di fascia consumer relativamente economiche se fosse possibile dividerle in blocchi (diciamo 2 TB). Se si tratta di una tantum, un processo semi-manuale potrebbe essere praticabile e un NAS da 2 TB costa solo poche centinaia di dollari.

Se è necessario un processo in corso, è possibile impostare RSYNC dopo aver effettuato il trasferimento iniziale.

— ConcernedOfTunbridgeWells
fonte

La domanda originale diceva che questo è già su una rete locale.

— Ladadadada,

1

Che sembra essere troppo lento e / o inaffidabile ai fini del PO.

— Preoccupato di

2

Ho dovuto svolgere questo tipo di attività alcuni mesi fa. Ho usato rsync parallelo per accelerare il processo. Suddivide i file da trasferire / sincronizzare in blocchi e può essere ripreso in qualsiasi momento. Vedi link sotto per lo script rsync parallelo.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
fonte

0

È possibile provare a configurare un server FTP sul server con i dati da copiare e utilizzare un client FTP con "resume" sul lato ricevente. Uso il server e il client Filezilla e uso la funzione "riprendi" del client abbastanza spesso e ha sempre funzionato senza intoppi.

— jamesbtate
fonte