Ho difficoltà a capire la mia grande fattura S3 e ho pensato di chiedere qui prima di perdere $ 30 sul supporto mensile AWS.

Fondamentalmente, ho un'istanza Amazon EC2 che crea un'API per diversi scambi di criptovaluta e salva le risposte all'istanza HD. Le chiamate vengono effettuate ogni 5 minuti circa, gli oggetti di risposta sono circa 100 kb, vengono letti da uno script R e aggiunti a un file CSV ogni ~ 8 minuti. Quel file CSV è sincronizzato con un bucket Amazon S3 ogni 15 minuti circa.

I file CSV sono in genere 10 MB o giù di lì, per circa 15 criptovalute, ogni 15 minuti. Quindi, guardando nel bucket Amazon S3, potrebbero esserci al massimo 0,5 GB di spazio.

Tuttavia, il 'TimedStorage-ByteHours' legge circa 4 TB!

Amazon Simple Storage Service TimedStorage-ByteHrs $ 89,55

$ 0.000 per GB - archiviazione sotto il livello gratuito globale mensile 5 GB - Mo $ 0,00

$ 0,023 per GB - primi 50 TB / mese di archiviazione utilizzati 3.893.399 GB - Mo $ 89,55

Qualche idea?

Molto probabilmente hai abilitato il Versioning S3 - ciò significa che i vecchi oggetti quando vengono sovrascritti con una versione più recente non vengono eliminati ma vengono invece nascosti in una cronologia. Per verificare vai su Bucket -> Proprietà -> Versioning .

Puoi anche visualizzare le vecchie versioni nel browser, come in questa schermata ho diverse versioni del 108c05...jsonfile:

Se hai attivato il controllo delle versioni ma non vuoi, puoi sospendere il controllo delle versioni, ma tieni presente che non eliminerà le versioni precedenti, dovrai:

• usa AWS-CLI e alcuni script (inizia con aws s3api list-object-versions)
• configurare Bucket Lifecycle Policy per far scadere le vecchie versioni. Ciò avviene tramite S3 -> bucket -> Gestione -> Ciclo di vita -> Aggiungi regola del ciclo di vita e quindi nella schermata Scadenza inserisci questi dettagli:

Spero che sia d'aiuto :)

Lo stoccaggio ad accesso raro ha un costo minimo di 30 giorni per articolo

1. Vai su https://s3.console.aws.amazon.com e ottieni l'elenco dei file per uno dei tuoi bucket.
2. Si noti che ogni file nel bucket ha una classe di archiviazione. La scelta della classe di archiviazione è sotto il tuo controllo e influisce sui costi.

Standardè il più costoso, quindi alcune persone usano infrequent accessche ha una tariffa mensile più bassa (~ sconto del 50%) per GB memorizzata in base alla tabella dei prezzi. MA, Raramente ha anche un costo di recupero di $ 0,01 / GB, quindi risparmia solo sui costi totali per i file archiviati almeno un mese e recuperati meno di una volta al mese. Inoltre, sul secchio può esistere una politica del ciclo di vita che modifica la classe di archiviazione dei file nel tempo, il che può influire sull'inizio del periodo di archiviazione minimo di 30 giorni.

Nella stampa fine, infrequent accessha un costo minimo di 30 giorni per ogni articolo memorizzato.

Fonte: https://aws.amazon.com/s3/pricing/

Prima nota a piè di pagina, contrassegnata con †

† L'accesso S3 Standard-Infrequent Access e l'archiviazione S3 One-Zone Rrequent Access hanno una dimensione minima fatturabile di 128 KB. Oggetti più piccoli possono essere memorizzati ma verranno addebitati per 128 KB di spazio di archiviazione. S3 Accesso non frequente standard e S3 1 accesso raramente zona di archiviazione vengono addebitati per una durata di archiviazione minima di 30 giorni. Gli oggetti che vengono eliminati, sovrascritti o trasferiti in una diversa classe di archiviazione prima di 30 giorni comporteranno il normale costo di utilizzo più un costo di richiesta proporzionale per il resto del minimo di 30 giorni. Gli oggetti conservati per 30 giorni o più non comportano un costo di richiesta minimo di 30 giorni

Ciò che è costoso di Amazon S3 e anche di Google Cloud Storage sono i costi di rete se i dati vengono inviati su Internet pubblico anziché conservati nel cloud dell'azienda. Il costo di rete per il recupero una volta può facilmente superare il costo di archiviazione per 3-4 mesi. $ 0,09 / GB (ottobre 2018) per AWS S3 , $ 0,12 / GB per Google Cloud Storage , livello di utilizzo più basso.

Digital Ocean ha un livello di archiviazione compatibile S3 chiamato "Spaces" che potrebbe valere la pena di provare. Sono stati segnalati alcuni bug, che potrebbero essere limitati in qualche modo, ma il prezzo complessivo sembra interessante e potrebbe essere "abbastanza buono" per alcuni usi.