Domanda piuttosto semplice ma non sono riuscito a trovare una risposta. Utilizzando Transit posso "spostare" i file da un bucket S3 su un account AWS a un altro bucket S3 su un altro account AWS, ma ciò che in realtà fa è scaricare i file dal primo e caricarli sul secondo.
C'è un modo per spostare i file direttamente da un account S3 a un altro senza scaricarli nel mezzo?
Risposte:
Se stai solo cercando una soluzione già pronta, ci sono alcune soluzioni là fuori che possono farlo. Bucket Explorer funziona su Mac e Windows e può copiare tra account così come Cloudberry S3 Explorer e S3 Browser, ma sono solo Windows, quindi potrebbero non funzionare per te.
Sospetto che la console AWS possa farlo anche con l'impostazione delle autorizzazioni appropriate, ma non l'ho testato.
Puoi anche farlo utilizzando l' API AWS purché tu abbia fornito l'account AWS che stai utilizzando le autorizzazioni di scrittura per il bucket di destinazione.
Sì, c'è un modo. Ed è piuttosto semplice, anche se è difficile trovarlo. 8)
Ad esempio, supponiamo che il nome utente del tuo primo account sia acc1@gmail.com e il secondo sia acc2@gmail.com.
Apri la Console di gestione AWS come acc1. Accedi alle proprietà del bucket Amazon S3 e nella scheda "Autorizzazioni" fai clic su "Aggiungi altre autorizzazioni". Quindi aggiungi Elenco e Visualizza autorizzazioni per "Utenti autenticati".
Successivamente, in AWS IAM (è accessibile dalle schede della console) di acc2 crea un utente con accesso completo al bucket S3 (per essere più sicuro, puoi impostare autorizzazioni esatte, ma preferisco creare un utente temporaneo per il trasferimento e poi cancellalo).
Quindi puoi usare s3cmd (usando le credenziali dell'utente appena creato in acc2) per fare qualcosa come:
s3cmd cp s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive
Tutti i trasferimenti verranno effettuati dalla parte di Amazon.
rsync, puoi usare s3cmd sync s3://acc1_bucket s3://acc2_bucket.
s3cmdpuò essere installato anche con homebrew, fyi
--acl-publicaltrimenti, tutti i file sono privati (almeno lo era per me quando ho eseguito il comando). con così tanti file privati, ho dovuto aggiungere una politica nel secchio per renderli di nuovo tutti pubblici
Usa aws cli (ho usato l'istanza ec2 di ubuntu 14) ed esegui semplicemente il seguente comando:
aws s3 sync s3://bucket1 s3://bucket2
Dovrai specificare i dettagli dell'account per uno e avere accesso in scrittura pubblica o accesso in lettura pubblico per l'altro.
Questo sincronizzerà i due bucket. Puoi usare di nuovo lo stesso comando in un secondo momento per sincronizzare rapidamente. La parte migliore è che non sembra richiedere alcuna larghezza di banda (ad esempio, i file non passano attraverso il computer locale).
aws s3 syncsembra correre di circa un ordine di grandezza più veloce di s3cmd cp.
--grantsopzione. Maggiori informazioni nella documentazione: docs.aws.amazon.com/cli/latest/reference/s3/sync.html
--grants. L'ho imparato dopo aver copiato un sacco di dati e poi ho dovuto ripetere la sincronizzazione su un nuovo bucket. --grants read=uri=http://acs.amazonaws.com/groups/global/AllUsersimposta i permessi di lettura per gli utenti pubblici.
s3cmda me, ed è anche in grado di sincronizzare i file di modifica invece di ricopiare tutto se è necessario rieseguire il comando in futuro - molto meglio!
boto funziona bene. Vedi questo thread . Utilizzando boto, copi gli oggetti direttamente da un bucket a un altro, invece di scaricarli sulla macchina locale e caricarli su un altro bucket.
Su Mac OS XI ho utilizzato l'app Transmit di Panic. Ho aperto una finestra per ogni account S3 (utilizzando le chiavi API e i segreti). Potrei quindi trascinare da un secchio in una finestra a un altro secchio nell'altra finestra. Non è necessario scaricare prima i file in locale .
Andrew ha ragione, Transmit scarica i file localmente quindi carica i file.
Consideriamo che ci sono due account: account di origine e account di destinazione. E due secchi source-buckete destination bucket. Vogliamo spostare tutti i file da source-bucketa destination-bucket. Possiamo farlo con i seguenti passaggi:
aws configure
aws s3 ls s3://source-bucket/
aws s3 cp s3://source-bucket s3://destination-bucket --recursive
aws s3 mv s3://source-bucket s3://destination-bucket --recursive
In alternativa puoi usare il comando di sincronizzazione - aws s3 sync s3://source-bucket s3://detination-bucket
Per una migliore spiegazione segui il link
CrossFTP può copiare i file S3 direttamente da un bucket all'altro senza scaricarli. È un client GUI S3 che funziona su Windows, Mac e Linux.
Puoi usare Cyberduck (open source)
Per i file appena creati (NON gli oggetti esistenti), puoi sfruttare le nuove funzionalità di AWS. È la replica tra regioni (in "Controllo delle versioni" per il bucket S3). Puoi creare una policy che ti consentirà di replicare nuovi oggetti in un bucket in un account diverso.
Per gli oggetti esistenti, dovrai comunque copiare i tuoi oggetti utilizzando un altro metodo, a meno che AWS non introduca funzionalità native per questo in futuro.
Si può farlo eseguendo quanto segue:
aws s3 mv (sync for keeping buckets in sync) s3://source-bucket s3://destination-bucket --recursive
Allega una policy del bucket al bucket di origine nell'account di origine.
Collega una policy AWS Identity and Access Management (IAM) a un utente o ruolo nell'account di destinazione.
Utilizza l'utente o il ruolo IAM nell'account di destinazione per eseguire lo spostamento tra account.