Posso usare rsync per il backup su Amazon S3

17

Ho acquistato dello spazio da evbackup che mi fornisce FTP, rsync e SSH. Ma ho anche letto che Amazon S3 può essere utilizzato anche per i backup.

Quindi sono davvero confuso dal fatto che Amazon offra l'accesso FTP per caricare file per il backup.

Come posso scaricare quei file.

Ho letto il loro sito molte volte ma non sono riuscito a capire come funziona il loro sistema. Voglio solo fare il backup della home directory dei miei utenti

backup ftp amazon-s3

— Miraggio
fonte

24

No, non è possibile utilizzare rsyncper trasferire file su Amazon. Utilizza il proprio protocollo per il servizio. Ma puoi accedere al loro archivio tramite servizi di terze parti, come www.s3rsync.com , quindi sarai in grado di utilizzare rsynce i tuoi dati verranno infine trasferiti nell'archivio S3.

Oppure puoi usare utility speciali progettate per l'archiviazione S3. Ci sono: s3sync , s3command , s3cp , tarsnap (tarsnap è un servizio di terze parti, come s3rsync).

Un altro strumento simile a rsync duplicity, supporta l'archiviazione S3 come backend e molti altri backend di backup, inclusi RackSpace Cloud Files (un altro servizio di archiviazione cloud, con un prezzo simile a quello di Amazon S3).

Backup su S3:

duplicity /home/me s3+http://bucketname/prefix

o ai file cloud di Rackspace:

duplicity /home/me cf+http://container_name

— sastanin
fonte

grazie per quello, anche io non riuscivo a capire il loro modello di dati. stavo controllando i loro prezzi e dichiarano sempre per la larghezza di banda. come 0,18 centesimi per GB di trasferimento dati. Supponiamo che io carichi lì 50 GB di dati per il backup, quindi faccio nothi. Quindi quanto fanno pagare se non faccio nessun trasferimento. non sono riuscito a trovare nessuno dove si trovano quanto spazio offrono 50 $ per un disco rigido da 50 GB

— Mirage

@Moorage: Amazon addebita sia lo spazio di archiviazione (da $ 0,14 / GB al mese) sia il trasferimento ($ 0,1 / GB per il trasferimento in). Quindi per 50 GB paghi $ 7 / mese se non accedi a questi dati. Esistono anche File Cloud RackSpace che è un servizio simile.

— sastanin,

la duplicità sembra molto bella. Vorrei averlo visto prima di scrivere il mio clone rsync. Se la duplicità è un po 'troppo elaborata per te, dai un'occhiata al mio semplice wrapper "rsync-like" per boto: github.com/seedifferently/boto_rsync

— Seth

1

PS Non ho mai usato la duplicità da solo, ma uno dei miei amici ha riferito di backup non funzionanti. Usare con cura.

— sastanin,

Puoi anche provare client minio [ github.com/minio/mc ] aka mc. È possibile utilizzare il comando [mc mirror] per eseguire il mirroring della cartella locale con il bucket S3.

— user52692,

5

L'interfaccia ufficiale della riga di comando di Amazon ha funzionato bene per me. Può sincronizzare da un bucket S3 locale e sincronizzare nuovamente da un bucket S3 a file locali.

1) installa l'interfaccia della riga di comando di Amazon, da https://aws.amazon.com/cli/

2) da un guscio,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Altre opzioni utili come --dryrun e --delete (per rispecchiare) elencate su http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

— jmnben
fonte

4

Puoi semplicemente montare il tuo bucket localmente usando s3fs e quindi usare rsync per copiare su quel punto di mount.

— GJ.
fonte

2

Sembra divertente, ma sarebbe sicuramente leggendo localmente per confrontare gli hash, che sconfigge lo scopo di rsync ... No?

— David Fraser,

0

Jungle Disk è un modo semplice per eseguire il backup dei file su Amazon S3 (abbonamento incluso account S3, ma è possibile utilizzare qualsiasi altro account AWS). Potresti anche voler dare un'occhiata a Super flessibile (solo software).

— Paradroid
fonte