Come rendere pubblici 10.000 file in S3

Ho una cartella in un secchio con 10.000 file. Sembra che non ci sia modo di caricarli e renderli pubblici immediatamente. Quindi li ho caricati tutti, sono privati ​​e devo renderli tutti pubblici.

Ho provato la console aws, dà solo un errore (funziona bene con cartelle con meno file).

Ho provato a utilizzare l'organizzazione di S3 in Firefox, stessa cosa.

C'è qualche software o qualche script che posso eseguire per renderli pubblici?

È possibile generare una policy del bucket (vedere l'esempio di seguito) che dà accesso a tutti i file nel bucket. La policy del bucket può essere aggiunta a un bucket tramite la console AWS.

{
    "Id": "...",
    "Statement": [ {
        "Sid": "...",
        "Action": [
            "s3:GetObject"
        ],
        "Effect": "Allow",
        "Resource": "arn:aws:s3:::bucket/*",
        "Principal": {
            "AWS": [ "*" ]
        }
    } ]
}

Guarda anche il seguente strumento di generazione di policy fornito da Amazon.

http://awspolicygen.s3.amazonaws.com/policygen.html

Se stai caricando per la prima volta, puoi impostare i file come pubblici al caricamento sulla riga di comando:

aws s3 sync . s3://my-bucket/path --acl public-read

Come documentato in Utilizzo dei comandi s3 di alto livello con l'interfaccia a riga di comando di AWS

Sfortunatamente applica l'ACL solo quando i file vengono caricati. Non applica (nei miei test) l'ACL ai file già caricati.

Se desideri aggiornare gli oggetti esistenti, eri in grado di sincronizzare il bucket con se stesso, ma sembra che questo abbia smesso di funzionare.

[Non funziona più] Questo può essere fatto dalla riga di comando:

aws s3 sync s3://my-bucket/path s3://my-bucket/path --acl public-read

(Quindi questo non risponde più alla domanda, ma lascia la risposta come riferimento come funzionava).

Ho dovuto cambiare diverse centinaia di migliaia di oggetti. Ho attivato un'istanza EC2 per eseguirlo, il che rende tutto più veloce. Ti consigliamo di installare il fileaws-sdk prima gemma.

Ecco il codice:

require 'rubygems'
require 'aws-sdk'


# Change this stuff.
AWS.config({
    :access_key_id => 'YOURS_HERE',
    :secret_access_key => 'YOURS_HERE',
})
bucket_name = 'YOUR_BUCKET_NAME'


s3 = AWS::S3.new()
bucket = s3.buckets[bucket_name]
bucket.objects.each do |object|
    puts object.key
    object.acl = :public_read
end

Ho avuto lo stesso problema, la soluzione di @DanielVonFange è obsoleta, poiché è uscita la nuova versione di SDK.

Aggiunta di snippet di codice che funzioni subito con AWS Ruby SDK:

require 'aws-sdk'

Aws.config.update({
  region: 'REGION_CODE_HERE',
  credentials: Aws::Credentials.new(
    'ACCESS_KEY_ID_HERE',
    'SECRET_ACCESS_KEY_HERE'
  )
})
bucket_name = 'BUCKET_NAME_HERE'

s3 = Aws::S3::Resource.new
s3.bucket(bucket_name).objects.each do |object|
  puts object.key
  object.acl.put({ acl: 'public-read' })
end

Volevo solo aggiungere che con la nuova console S3 è possibile selezionare le cartelle e selezionare Make publicper rendere pubblici tutti i file all'interno delle cartelle. Funziona come un'attività in background, quindi dovrebbe gestire un numero qualsiasi di file.

Utilizzando il cli:

aws s3 ls s3://bucket-name --recursive > all_files.txt && grep .jpg all_files.txt > files.txt && cat files.txt | awk '{cmd="aws s3api put-object-acl --acl public-read --bucket bucket-name --key "$4;system(cmd)}'

Avevo questo bisogno da solo, ma il numero di file rende MODO rallentare per farlo in serie. Così ho scritto uno script che lo fa sull'IronWorker di iron.io servizio. Le loro 500 ore di elaborazione gratuite al mese sono sufficienti per gestire bucket anche di grandi dimensioni (e se lo superi, il prezzo è ragionevole). Dato che è fatto in parallelo, si completa in meno di un minuto per i 32.000 oggetti che avevo. Inoltre credo che i loro server girino su EC2, quindi la comunicazione tra il lavoro e S3 è veloce.

Chiunque può usare il mio copione per i propri bisogni.

Dai un'occhiata a BucketExplorer , gestisce molto bene le operazioni di massa ed è un solido client S3.

Penseresti che renderebbero pubblico leggere il comportamento predefinito, vero? :) Ho condiviso la tua frustrazione durante la creazione di un'API personalizzata per interfacciarsi con S3 da una soluzione C #. Ecco lo snippet che esegue il caricamento di un oggetto S3 e l'impostazione predefinita per l'accesso in lettura pubblica:

public void Put(string bucketName, string id, byte[] bytes, string contentType, S3ACLType acl) {
     string uri = String.Format("https://{0}/{1}", BASE_SERVICE_URL, bucketName.ToLower());
     DreamMessage msg = DreamMessage.Ok(MimeType.BINARY, bytes);
     msg.Headers[DreamHeaders.CONTENT_TYPE] = contentType;
     msg.Headers[DreamHeaders.EXPECT] = "100-continue";
     msg.Headers[AWS_ACL_HEADER] = ToACLString(acl);
     try {
        Plug s3Client = Plug.New(uri).WithPreHandler(S3AuthenticationHeader);
        s3Client.At(id).Put(msg);
     } catch (Exception ex) {
        throw new ApplicationException(String.Format("S3 upload error: {0}", ex.Message));
     }
}

La funzione ToACLString (acl) restituisce public-read , BASE_SERVICE_URL è s3.amazonaws.com e la costante AWS_ACL_HEADER è x-amz-acl . Il plug e il materiale di DreamMessage probabilmente ti sembreranno strani poiché utilizziamo il framework Dream per semplificare le nostre comunicazioni http. Essenzialmente stiamo eseguendo un PUT http con le intestazioni specificate e una firma di intestazione speciale per le specifiche aws (vedere questa pagina nei documenti aws per esempi su come costruire l'intestazione di autorizzazione).

Per modificare un 1000 ACL di oggetti esistenti è possibile scrivere uno script, ma probabilmente è più semplice utilizzare uno strumento GUI per risolvere il problema immediato. Il migliore che ho usato finora proviene da una società chiamata cloudberry per S3; sembra che abbiano una prova gratuita di 15 giorni per almeno uno dei loro prodotti. Ho appena verificato che ti consentirà di selezionare più oggetti contemporaneamente e di impostare il loro ACL su pubblico tramite il menu contestuale. Goditi il ​​cloud!