Rsync con benna AWS S3

Per un server su cui sto ospitando un sito Web, voglio eseguire il backup dei dati e delle impostazioni su un bucket S3. Ho scoperto che non è possibile utilizzare direttamente rsync per eseguire il backup su un bucket S3. C'è un altro modo per ottenere il seguente comando rsync per il backup dei dati su un bucket S3?

rsync -av /Data /s3bucket

Voglio anche eseguire il backup del database mysql su quel server nel bucket S3. Qual è il modo migliore per raggiungere questo obiettivo?

Ultima domanda, se sono riuscito a eseguire il backup di tutto sull'S3. Qual è il modo migliore per ripristinare il server in caso di arresto anomalo o nel peggiore dei casi completamente cancellato? Devo annotare personalmente le impostazioni del server e riconfigurare il server o c'è un modo per eseguire il backup anche di questo?

— Bart Bergmans
fonte

Risposte:

Per comunicare con s3 devi avere 2 cose

Credenziali utente IAM che hanno accesso in lettura / scrittura al bucket s3.
Un client come aws-cli per bash, libreria di boto per python ecc.

una volta che hai entrambi, puoi trasferire qualsiasi file dal tuo computer a s3 e da s3 al tuo computer. Di seguito è riportato l'esempio di aws-cli.

per sincronizzare tutti i file in una cartella

aws s3 sync source_folder s3://your_bucket_name/destination_folder/
per copiare un file su s3

aws s3 cp source_file s3://your_bucket_name/destination_folder/

basta sostituire sorgente e destinazione nel comando per scaricare qualsiasi file da s3.

per maggiori informazioni segui aws docs

— Gaurav Pundir
fonte

Nota: probabilmente vorrai prima eseguire "aws configure", al fine di memorizzare le tue credenziali, in modo da non doverle inserire con ogni sincronizzazione.

— Tim Burch,

Vale la pena sottolineare che rsynccalcola i checksum, lato client e lato server, quindi li confronta per decidere con precisione se un file è cambiato. Considerando che aws s3 syncnon lo fa - utilizza dimensioni di file e timestamp. Qualcuno, per favore, mi corregga se sbaglio?

— Lqueryvg

Puoi provare rclone .

Installazione ( documenti ):

rclone config

Sincronizzazione ( documenti ):

rclone sync /my/local/folder s3service:bucket-name

— Keith
fonte

rcloneè una piccola utility fantastica!

— Andrew Odendaal,

1+ rclone, l'ho trovato v. Facile da usare e lo sviluppatore sembra incredibilmente attivo e coinvolgente

— adampski

Suona bene, ma puoi elaborare quale sia il vantaggio rispetto all'uso di aws s3 sync?

— Kutzi,

Soddisfa i requisiti di OP per l'utilizzo di rsync. Non ho usato s3 sync, o rclone con s3, quindi non lo so più.

— Keith