Come caricare in sicurezza molti GB di dati su Amazon S3?

Sto eseguendo il backup della mia libreria di foto / video personale su Amazon S3 (diverse centinaia di GB).

Attualmente sto usando Cyberduck sul mio Mac per trascinare e rilasciare, ma ho già avuto qualche errore senza un chiaro comportamento riprovare / riprendere .

Mi piacerebbe trovare un modo per caricare una directory con la certezza che siano tutti trasferiti completamente e con un modo chiaro per riprovare / riprendere quelli che non hanno funzionato.

Cosa raccomanderesti? Un approccio da riga di comando va bene.

amazon-web-services upload amazon-s3

— Andrea
fonte

Se sei su un Mac, c'è un motivo per cui non puoi semplicemente montare la connessione SSH come disco ed eseguire Time Machine su quel disco? (Non uso un Mac da solo, ma non vedo un motivo per cui questo non funzionerebbe, e AFAIK Time Machine è incrementale che ti fa risparmiare larghezza di banda)

— pzkpfw

woah, è una specie di idea folle. Non ho mai pensato di usare S3 con TM. Tuttavia, non ho bisogno di TM e preferirei fare un backup completo di una volta. Ho detto che sono su un Mac, ma sono curioso di sapere se esiste qualcosa che funzioni anche con Linux. Ad esempio, rsyncfunzionerebbe per questo? Non ne ho abbastanza conoscenza per sapere quali flag usare, ma sembra uno strumento affidabile.

— Andrew,

rsyncdovrebbe funzionare ed è facile da usare, basta google alcuni esempi. C'è anche quello duplicityche avvolge rsync per creare una soluzione di backup simile a una macchina del tempo, funziona bene. Vedi easyengine.io/tutorials/backups/duplicity-amazon-s3

— pzkpfw

In base al tuo problema puoi provare Bucket Explorer

Funzionalità di Bucket Explorer

Puoi sfogliare secchi e file archiviati su Amazon S3.
Carica e scarica file da e verso i secchi di Amazon S3.
Bucket Explorer funziona su tutti i sistemi operativi in cui è supportato Java.

Bucket Explorer include la funzione di caricamento in più parti, che ti consente di caricare un singolo oggetto come un insieme di parti. Nel processo di caricamento, ogni parte è una parte dei dati dell'oggetto e ogni parte può essere caricata in modo indipendente. Il caricamento multipart offre molti vantaggi rispetto al semplice caricamento, soprattutto quando le dimensioni dell'oggetto sono molto grandi.

— Hussain7
fonte