Come posso riprendere un trasferimento di file scp di grandi dimensioni quando utilizzo il port forwarding?

Ho una macchina a un paio di hop di distanza e ho bisogno di impostare il port forwarding per trasferire i file.

Modifica: per essere chiari, sono necessari più salti per accedere al computer remoto. Dalla mia macchina, ho impostato una VPN, dove posso accedere a 10.255.xx - questa è l'unica macchina a cui posso connettermi tramite VPN. Una volta effettuato l'accesso a .xx, posso quindi collegarmi ad altre macchine - .yy è una di quelle.

Dalla mia macchina:

ssh -L 4567:localhost:4567 me@10.255.x.x

Quindi da quella macchina:

ssh -L 4567:localhost:22 me@10.255.y.y

Posso allora

scp -P 4567 me@localhost:/path/to/large/file.gz .

Ho lasciato questo overnite in esecuzione, solo per scoprire che il trasferimento è morto ad un certo punto.

Ho visto un paio di suggerimenti per usare rsync su ssh per riprendere il trasferimento, ma non sono chiaro come configurarlo. È possibile?

Con alcune versioni di scp (la versione sul computer di origine sembra essere la chiave), sarà sufficiente rieseguire il comando scp per riprendere il trasferimento. Ma fa attenzione! Se la tua versione non supporta i trasferimenti parziali, il file parziale verrà semplicemente sovrascritto.

I seguenti switch rsync sono utili per riprendere un trasferimento interrotto se scp non lo supporta:

     --append                append data onto shorter files
     --append-verify         like --append, but with old data in file checksum
 -e, --rsh=COMMAND           specify the remote shell to use
     --progress              show progress during transfer

Il comando

rsync --append-verify --progress --rsh="ssh -p 4567" me@localhost:/path/to/large/file.gz .

dovrebbe avere l'effetto desiderato. Si noti che l' -pinterruttore deve essere minuscolo per ssh.

Usa sftp invece di scp

Nel tuo caso:

sftp -a -P 4567 me@localhost:/path/to/large/file.gz .

Dalla pagina man sftp:

-a      Attempt to continue interrupted downloads rather than overwriting existing partial or complete copies of files.  If the remote file contents differ from the partial local copy then the resultant file is likely to be corrupt.

rsync usa ssh di default, potrebbe essere necessario specificare il comando esatto ssh usando l'opzione -e di rsync. Ha anche un --partial che dovrebbe mantenere il file incompleto in modo da poter riprendere il trasferimento.

Non riesco davvero a vedere qual è il punto dei tuoi tunnel, quindi ecco come andrei a risolvere il tuo problema:

ssh -R $tunnelPort:localhost:$localSSHPort $remoteUser@$remoteHost -p $remoteSSHPort

questo apre un tunnel inverso dal computer locale (localhost) al computer remoto (remotehost). $ tunnelPort è la porta su cui è possibile trovare il tunnel su remotehost. $ localSSHPort è la porta su cui viene eseguito lo sshd locale e $ remoteSSHPort è dove ascolta l'sshd di remotehost.

Ora che sei all'interno del tunnel (al contrario!) Puoi più o meno fare ciò che Dennis ha proposto:

rsync --apend-verify -az -e 'ssh -p $tunnelPort' /path/to/large/file $user@localhost:/destination

le bandiere -a e -z sono spiegate nella pagina man di rsync, quindi non approfondirò. Quello che succede ora è che quando esegui rsync su remotehost come sopra, spinge tutti i dati nella porta $ tunnelPort che viene quindi inoltrata allo sshd $ localSSHPort del tuo host locale.

Spero che abbia aiutato.