Come usare rsync su FTP

Qualsiasi unix:

Ho la seguente linea cmd che funziona bene.

rsync -avr -e ssh /home/dir user@example.com:/home/

Ma devo configurarlo ora per sincronizzare un server remoto che ha solo un server FTP. Come posso procedere?

Ho guardato l'aiuto di rsync ma mi sono perso rapidamente (non faccio queste cose molto spesso).

Non rsync non può farlo per te, è un protocollo a sé stante e non funziona su FTP.

Tuttavia, potresti voler provare csync . IIRC fornisce un comportamento simile a rsync su HTTP. Non posso commentare se funziona tramite FTP, dovrete provarlo.

rsync non funzionerà per te per i motivi che altri hanno menzionato. Tuttavia, lftp e ncftp hanno entrambi modalità "mirror" che probabilmente soddisfano le tue esigenze.

Lo uso per inviare roba dalla mia directory locale a un host web ftp o sftp:

lftp -c "set ftp:list-options -a;
open ftp://user:password@your.ftp.com; 
lcd ./web;
cd /web/public_html;
mirror --reverse --delete --use-cache --verbose --allow-chown  
--allow-suid --no-umask --parallel=2 --exclude-glob .svn"

Come scritto da cavalletto , lftpè un buon strumento.

Ti suggerisco di parametrizzare lo script e di utilizzare il

exclude-glob

opzioni, che esclude i nomi di file usando la funzione glob (* ,? ..) della shell:

#!/bin/bash    
HOST="your.ftp.host.dom"
USER="username"
PASS="password"
FTPURL="ftp://$USER:$PASS@$HOST"
LCD="/path/of/your/local/dir"
RCD="/path/of/your/remote/dir"
#DELETE="--delete"
lftp -c "set ftp:list-options -a;
open '$FTPURL';
lcd $LCD;
cd $RCD;
mirror --reverse \
       $DELETE \
       --verbose \
       --exclude-glob a-dir-to-exclude/ \
       --exclude-glob a-file-to-exclude \
       --exclude-glob a-file-group-to-exclude* \
       --exclude-glob other-files-to-exclude"

Attenzione: assicurarsi che la directory di destinazione esista, altrimenti il ​​comando cd fallirà, quindi l'operazione inclusa l'eliminazione di alberi di file avverrà nella directory sbagliata (root)!

Ho aggiornato lo script in modo tale che l' --deleteopzione sia disabilitata da defaut, abilitala decommentando il file DELETE= command.

A seconda di ciò che stai effettivamente cercando di fare, un altro approccio completamente diverso potrebbe essere usato curlftpsper montare una cartella ftp, e quindi forse rsyncle due cartelle "locali".

L'installazione è diversa a seconda della tua distribuzione, quindi non posso generalizzare su questo, ma è necessario installare fusee curlftpfs( fuseper impostazione predefinita Debian ha già installato di default), quindi:

1. sudo apt-get install curlftpfs

2. Assicurarsi che il fusemodulo sia caricato ( modprobe fuse)

3. sudo curlftpfs ftp.yourserver.com /path/to/ftp/folder/ -o user=username:password,allow_other

Nota che non c'è spazio dopo l'ultima virgola (non è un refuso!). Se sei soddisfatto o non vuoi farlo ogni volta, puoi aggiungerlo al tuo fstab (di solito in /etc/fstab):

curlftpfs#user:password@ftp.yourserver.com /path/to/ftp/folder/ fuse auto,user,uid=1000,allow_other 0 0

In tal caso, è necessario assicurarsi che il modulo fusibili sia stato caricato prima.

Tieni presente, però, di due cose:

• Che lo sviluppatore ha abbandonato il progetto uno o due anni fa, quindi non so quanto sia utilizzabile / stabile per il momento.
• Se la password contiene un carattere strano curlftpfspotrebbe non riuscire (forse puoi fare qualcosa con il .netrc).

C'è weex ...

Weex è un'utilità progettata per automatizzare l'attività di gestione remota di una pagina Web o di un altro archivio FTP. Sincronizzerà un set di file locali su un server remoto eseguendo upload ed eliminazioni remote come richiesto.

rsync non funziona su ftp. Sul lato remoto ha bisogno del demone rsync o di una shell da cui può chiamare rsync. Ftp generalmente ti permette di chiamare alcuni comandi e rsync non è uno di questi. Esistono altri strumenti pensati per automatizzare le attività ftp come "lftp".

Sembra una buona e libera misura: https://savannah.gnu.org/projects/ftpsync/

Per quello che sembra che stai cercando di fare, puoi anche usare wget.

wget -m ftp: // nome utente: password@dominio.com

Puoi usare curlftpfs per montare ftp e usare rsync dopo http://linux.die.net/man/1/curlftpfs

Sto usando GVFS / FTP. Monta i miei server FTP remoti con gigolo. Come sono visti come directory locali, quasi tutto funziona su file locali funziona. rsync è progettato per calcolare gli hash di file in remoto per confrontare i file senza trasferirli, ma farlo con i file virtuali trasferisce comunque i file. unison e freefilesync normalmente funzionano bene ma ho riscontrato un problema quando vogliono rinominare un file che hai caricato, nessun problema con il download. Questo potrebbe essere un problema con gvfs 1.6.1.

La soluzione di Jonas S può essere utile a seconda delle circostanze, ad esempio se si dispone di un'alta velocità di download e di un caricamento lento, il controllo dei file sul server potrebbe essere relativamente più veloce del caricamento inutile di file.

Probabilmente vuoi usare CurlFTPFS, però: http://packages.ubuntu.com/search?suite=default§ion=all&arch=any&searchon=names&keywords=curlftpfs

Sebbene, in generale, è meglio utilizzare un normale client FTP del tutto invece di rsync.

Non credo che sarai in grado di farlo, il server a cui stai provando Rsync avrà solo un server FTP in esecuzione, non capirà i comandi che Rsync lo sta inviando.

Se il motivo per cui vuoi farlo è che hai accesso solo alla porta 21, ma hai il controllo del server, puoi cambiare la porta su cui Rsync è in ascolto, sul server, ma questo è ovviamente utile solo se non lo fai vuoi usare FTP su quella porta.

Se vuoi automatizzare l'attività, allora usa lftp poiché puoi creare uno script come alcune persone hanno pubblicato sopra, puoi scriverlo tutto molto facilmente a tuo piacimento, se stai cercando una soluzione unica (cioè devi scaricare un intero sito web via ftp / spostalo su un altro server) usa ncftp, è semplice, installalo se non è già installato:

apt-get install ncftp

o

yum install ncftp

(scusate le distribuzioni non debian / red hat based)

una volta installato, apri ncftp nel terminale quindi digita:

open -u ftpusername ftp.thedomain.com

Ti chiederà la password, inseriscila e quindi:

get -R /home/remotewebsite/public_html/ /home/localwebsite/public_html/

Farà il resto del lavoro per te ... buona fortuna

L'uso di "sitecopy" o "mirror" può farti risparmiare molta larghezza di banda.

Entrambi gestiscono un aggiornamento incrementale efficiente.

C'è anche wput:

wput --timestamping --reupload --dont-continue source-files ftp://target.host/dir

Il nome utente e la password vengono letti da ~ / .netrc. Altrimenti, se non sei particolarmente interessato alla sicurezza, puoi fornirli come ftp: // username: password@target.host .

Ho creato il proprio strumento da riga di comando per quello: ftpsync

Perché? Poiché è semplice ed elegante, altri strumenti richiedono molte dipendenze, a volte la compilazione, a volte non funziona (ad esempio lftp su MacOs High Sierra). Ftpsync è scritto in puro Python, non richiede librerie di terze parti ed è piccolo, puoi semplicemente includere il file nel tuo progetto.

Utilizzo: cd nella directory del progetto e digitare:

ftpsync user:pass@ftp.address.url/remote/dir --delete

--delete indica l'eliminazione di file remoti che non esistono localmente.

Se non vuoi sincronizzare ma esegui il comando raw ftp usa:

ftpsync -c '...'

È utile per alcune semplici operazioni come inviare file e rinominarlo:

ftpsync -c 'PASV; TYPE I; STOR some_file.ext; RNFR some_file.ext; RNTO some_file_renamed.ext'

rclone è un bel software che esegue la sincronizzazione delle directory su ftp e molti altri protocolli tra cui i provider di cloud storage (Amazon S3, Dropbox, Google Drive). Può sincronizzarsi con / da qualsiasi combinazione di archiviazione locale o remota.

Per configurare un ftptelecomando seguire queste istruzioni .

Una volta fatto, l'operazione di sincronizzazione è:

rclone sync /home/dir FTP_REMOTE:/home --progress 

Installa sftp e quindi puoi usare rsync.

Io uso il seguente.

rsync --delete --times --recursive --perms --owner --group --verbose --progress --stats -e ssh root@192.168.0.100:/folder1/ /folder2/