Il modo migliore per spostare i file tra i bucket S3?

Vorrei copiare quotidianamente alcuni file da un bucket di produzione a un bucket di sviluppo.

Ad esempio: copia productionbucket / feed / feedname / date in developmentbucket / feed / feedname / date

Poiché i file che desidero sono così profondi nella struttura delle cartelle, è troppo dispendioso in termini di tempo per andare in ciascuna cartella e copiare / incollare.

Ho giocato con il montaggio di unità su ciascun bucket e la scrittura di uno script batch di Windows, ma è molto lento e scarica inutilmente tutti i file / cartelle sul server locale ed esegue nuovamente il backup.

Aggiornare

Come sottolineato da alberge (+1), oggigiorno l'eccellente AWS Command Line Interface fornisce l'approccio più versatile per interagire con (quasi) tutte le cose AWS - nel frattempo copre la maggior parte delle API dei servizi e presenta anche comandi S3 di livello superiore per gestire il tuo caso d'uso in particolare, consulta il riferimento AWS CLI per S3 :

• sync - Sincronizza directory e prefissi S3. Il vostro caso d'uso è coperto da Esempio 2 (più grana fine utilizzo con --exclude, --includee la gestione del prefisso ecc è anche disponibile):

  Il seguente comando di sincronizzazione sincronizza gli oggetti con un prefisso e un bucket specificato con gli oggetti con un altro prefisso e bucket specificato, copiando gli oggetti s3. [...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Per completezza, menzionerò che i comandi S3 di livello inferiore sono ancora disponibili anche tramite il comando secondario s3api , che consentirebbe di tradurre direttamente qualsiasi soluzione basata su SDK nell'AWS CLI prima di adottare eventualmente la sua funzionalità di livello superiore.

Risposta iniziale

Lo spostamento di file tra i bucket S3 può essere ottenuto mediante PUT Object - Copy API (seguito da DELETE Object ):

Questa implementazione dell'operazione PUT crea una copia di un oggetto già archiviato in Amazon S3. Un'operazione di copia PUT equivale a eseguire un GET e quindi un PUT. L'aggiunta dell'intestazione della richiesta, x-amz-copy-source, fa sì che l'operazione PUT copi l'oggetto di origine nel bucket di destinazione. fonte

Sono disponibili rispettivi esempi per tutti gli SDK AWS esistenti, consulta Copia di oggetti in un'unica operazione . Naturalmente, una soluzione basata su script sarebbe la prima scelta ovvia qui, quindi copiare un oggetto utilizzando l'SDK AWS per Ruby potrebbe essere un buon punto di partenza; se preferisci invece Python, lo stesso può essere ottenuto anche tramite boto , ovviamente, vedi il metodo copy_key()nella documentazione dell'API S3 di boto .

PUT Objectcopia solo i file, quindi dovrai eliminare esplicitamente un file tramite DELETE Objectancora dopo un'operazione di copia riuscita, ma saranno solo poche righe una volta che lo script generale che gestisce il bucket e i nomi dei file è a posto (ci sono anche i rispettivi esempi , vedere ad esempio Eliminazione di un oggetto per richiesta ).

La nuova AWS CLI ufficiale supporta nativamente la maggior parte delle funzionalità di s3cmd. In precedenza utilizzavo s3cmdo l'SDK AWS ruby ​​per eseguire operazioni del genere, ma la CLI ufficiale funziona alla grande per questo.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Per spostare / copiare da un bucket all'altro o allo stesso bucket, utilizzo lo strumento s3cmd e funziona bene. Per esempio:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

Ho passato giorni interi a scrivere il mio strumento personalizzato per parallelizzare le copie richieste per questo, ma poi mi sono imbattuto nella documentazione su come ottenere il comando di sincronizzazione della CLI di AWS S3 per sincronizzare i bucket con una parallelizzazione massiccia . I seguenti comandi indicheranno all'AWS CLI di utilizzare 1.000 thread per eseguire i lavori (ciascuno un piccolo file o una parte di una copia in più parti) e guardare avanti 100.000 lavori:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Dopo averli eseguiti, puoi utilizzare il semplice comando di sincronizzazione come segue:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

Su una macchina m4.xlarge (in AWS - 4 core, 16 GB di RAM), per il mio caso (file 3-50 GB) la velocità di sincronizzazione / copia è passata da circa 9,5MiB / sa 700 + MiB / s, un aumento della velocità di 70 volte rispetto alla configurazione predefinita.

Aggiornamento: nota che S3CMD è stato aggiornato nel corso degli anni e queste modifiche ora sono effettive solo quando lavori con molti file di piccole dimensioni. Si noti inoltre che S3CMD su Windows (solo su Windows) è seriamente limitato nel throughput complessivo e può raggiungere solo 3 Gbps per processo, indipendentemente dalle dimensioni dell'istanza o dalle impostazioni utilizzate. Altri sistemi come S5CMD hanno lo stesso problema. Ne ho parlato con il team S3 e stanno esaminando la questione.

Esempio .NET come richiesto:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

con il cliente che è qualcosa di simile

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Potrebbe esserci un modo migliore, ma è solo un codice veloce che ho scritto per trasferire alcuni file.

Se disponi di un host unix in AWS, utilizza s3cmd da s3tools.org. Imposta le autorizzazioni in modo che la tua chiave abbia accesso in lettura al tuo bucket di sviluppo. Quindi esegui:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Per me il seguente comando ha funzionato:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Ecco una classe Ruby per eseguire questa operazione: https://gist.github.com/4080793

Utilizzo di esempio:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

In realtà, di recente utilizzo solo l'azione copia + incolla nell'interfaccia di AWS s3. Vai ai file che desideri copiare, fai clic su "Azioni" -> "Copia", quindi vai al bucket di destinazione e "Azioni" -> "Incolla"

Trasferisce i file abbastanza velocemente e sembra una soluzione meno contorta che non richiede alcuna programmazione o soluzioni sopra le righe come quella.

Abbiamo avuto questo problema esatto con i nostri lavori ETL su Snowplow , quindi abbiamo estratto il nostro codice di copia file parallela (Ruby, costruito su Fog ), nella sua gemma Ruby, chiamata Sluice:

https://github.com/snowplow/sluice

Sluice gestisce anche l'eliminazione, lo spostamento e il download di file S3; tutto parallelizzato e con riprova automatica se un'operazione fallisce (cosa che fa sorprendentemente spesso). Spero sia utile!

So che questo è un vecchio thread, ma per gli altri che ci raggiungono il mio suggerimento è di creare un lavoro pianificato per copiare il contenuto dal bucket di produzione a quello di sviluppo.

Puoi usare Se usi .NET questo articolo potrebbe aiutarti

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

Per la nuova versione aws2.

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME