Come eliminare tutti i dati del ghiacciaio?


29

Stavo usando uno strumento su Mac OS X chiamato Arq per eseguire il backup dei miei dati, ma ho trovato così difficile caricare tutte le mie cose poiché non ho e non posso avere una connessione Internet abbastanza veloce per farlo.

Quindi ho deciso di eliminare tutti i miei backup, ma ogni volta che provo dal software stesso non fa nulla.

Ho anche provato FastGlacier sull'altra mia macchina Windows, si blocca e richiede troppe risorse.

Mi chiedevo se esiste un modo semplice per farlo.

PS Il mio ghiacciaio ha ~ 450 GB in 341907 archivi


Nota per gli utenti Arq: vedere la risposta dello sviluppatore Arq Stefan Reitshamer di seguito. Evita il mal di testa di installare mtglacier e usa semplicemente lo strumento integrato in Arq!
joewiz,

Risposte:


26

Il purge-vault di questo progetto funziona bene: https://github.com/vsespb/mt-aws-glacier

Installa, quindi esegui questi comandi (sostituisci vault-name con il nome del tuo vault):

mtglacier retrieve-inventory --config glacier.cfg --vault vault-name

attendere circa 2 ore, quindi

mtglacier download-inventory --config glacier.cfg --vault vault-name --new-journal vault-name.log
mtglacier purge-vault --config glacier.cfg --vault vault-name --journal vault-name.log

Grazie mille per questo, ma purtroppo non ho depositi sul ghiacciaio per testarlo, quindi per favore se qualcuno lo prova fammi sapere per contrassegnarlo come la risposta corretta.
Shereef Marzouk,

Grazie per il feedback @CamiloNova Ho scelto questa come migliore risposta in base al tuo feedback ^ _ ^
Shereef Marzouk,

Ho dovuto aspettare circa 4 ore per poter scaricare l'inventario
Parag

1
Questo metodo sembra essere molto più veloce rispetto a glacier-vault-remove. Questo metodo è stato in grado di rimuovere 350 GB di dati in poche ore, mentre glacier-vault-removerimuoveva solo circa 30 GB di dati ogni 12 ore.
gbmhunter

Mi rendo conto che questa risposta è contrassegnata come la soluzione confermata, ma per gli utenti di Arq come il poster originale, la risposta di Stefan Reitshamer di seguito è la migliore, senza dubbio. Arq ha uno strumento integrato per l'eliminazione dei depositi glaciali. Non c'è bisogno di scherzare con mtglacier. Basta leggere quella risposta e il gioco è fatto.
joewiz,

15

https://github.com/leeroybrun/glacier-vault-remove è stato creato per questo preciso scopo.

Per rimuovere un deposito, installare prima le dipendenze:

$ git clone https://github.com/leeroybrun/glacier-vault-remove.git
$ cd glacier-vault-remove
$ python setup.py install

Quindi creare un file di credenziali, credentials.jsonnella stessa directory:

{
  "AWSAccessKeyId": "YOURACCESSKEY",
  "AWSSecretKey":   "YOURSECRETKEY"
}

Quindi esegui lo script in questo modo

$ python removeVault.py REGION-NAME VAULT-NAME

Esempio :

$ python removeVault.py us-east-1 my_vault

1
Questa sceneggiatura è molto più lenta di mt-aws-glacier al momento
Dan Poltawski,

Inoltre, consuma molta RAM. Sto cercando di eliminare circa 120.000 archivi: a 1142 del 125413 utilizza già più di 1 GB di memoria (e aumenta con ogni archivio).
aaronk6,

7

Se rimuovi una cartella supportata da Glacier in Arq, questa andrà nel cestino di Arq. Se lo selezioni nel cestino di Arq e fai clic su "Elimina definitivamente", Arq eliminerà tutti gli archivi di Glacier e tenterà di eliminare il deposito di Glacier. L'eliminazione del vault potrebbe non riuscire perché Amazon deve aggiornare il suo "inventario", che esegue una volta al giorno. Il giorno successivo, seleziona "Altri set di backup" in Arq, trova quel vault, selezionalo e fai clic su "Elimina" per eliminarlo.

Se hai un deposito non associato ad alcun backup di Arq, seleziona "Legacy Glacier Vaults" dal menu di Arq, seleziona il deposito e fai clic sul pulsante per eliminare.


Grazie Stefan! Ho lottato per giorni per capire come eliminare i miei depositi Arq - non riuscendo a installare mtglacier sul mio Mac, creando un'istanza ubuntu dropcloud per eseguire mtglacier - e per tutto questo tempo, la soluzione era proprio lì in Arq.
joewiz,

5

Puoi usare un prodotto freeware come CloudBerry Explorer http://www.cloudberrylab.com/free

Nota, i dati Glacier non diventano immediatamente disponibili. devi attendere 24 ore affinché avvenga l'inventario globale sul lato Amazon, quindi fai clic sul pulsante Ottieni inventario e attendi altre 5 ore per ottenere l'inventario per il tuo account.

Grazie


Non avevo nient'altro che glacier su quell'account, quindi ho appena cancellato il mio account aws, lo segnerò come la risposta corretta da allora, penso che avrebbe funzionato se l'avessi provato.
Shereef Marzouk,

Non è davvero una buona risposta perché questo prodotto non funziona su OSX.
user3353,

1

So che a questa domanda è stata data risposta qualche tempo fa, ma penso che ciò potrebbe aiutare alcune persone poiché l'eliminazione dei dati Glacier è ancora estremamente complicata.

Non ho visto questo suggerito da nessuna parte ... ma se stai usando AWS per Glacier (che presumo debba essere il caso per molti), potresti considerare semplicemente di chiudere il tuo account AWS! Questo è quello che ho fatto dopo giorni di tentativi incredibilmente inefficaci di eliminare i dati con vari strumenti.

Quando chiudi il tuo account, Amazon elimina i tuoi dati (presumibilmente; alla fine dovrebbero recuperare lo spazio su disco) e otterrai una ricevuta finale per il mese in corso. Addio Amazon!


Stavo usando molti altri servizi di Amazon e non volevo perderli, e immagino che molti utilizzino Amazon per acquistare cose, ma è bello averlo scritto da qualche parte per persone che non hanno mai usato Amazon per qualcos'altro
Shereef Marzouk,

@ShereefMarzouk Bene, quando chiudi il tuo account nel pannello di controllo di AWS, in realtà è il tuo account AWS che stai chiudendo, non il tuo account Amazon che stai utilizzando per effettuare acquisti. Quindi sarai ancora in grado di utilizzare gli altri servizi di Amazon (purché non facciano parte di AWS) come al solito.
Modulo

0

Come eliminare Vault (AWS Glacier)

Questa panoramica fornisce alcuni suggerimenti per la rimozione AWS Glacier Vaultcon l'interfaccia della riga di comando di AWS (es. Https://aws.amazon.com/en/cli/ ).

Passaggio 1 / Ritirare l'inventario

$ aws glacier initiate-job --job-parameters "{\"Type\": \"inventory-retrieval\"}" --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Attendere durante 3/5 ore ... :-(

Per il nuovo passaggio è necessario ottenere il JobId. Al termine dell'inventario di recupero è possibile ottenerlo con il comando seguente:aws glacier list-jobs --vault-name YOUR_VAULT_NAME --region YOUR_REGION

Passaggio 2 / Ottieni gli archivi

$ aws glacier get-job-output --job-id YOUR_JOB_ID --vault-name YOUR_VAULT_NAME --region YOUR_REGION ./output.json

Vedere. Download di un inventario di Vault in Amazon Glacier

Puoi ottenere tutto ArchiveIdnel ./output.jsonfile.

Passaggio 3 / Elimina archivi

PowerShell

da @vinyar

$input_file_name = 'output.json'
$vault_name = 'my_vault'
# $account_id = 'AFDKFKEKF9EKALD' #not used. using - instead

$a = ConvertFrom-Json $(get-content $input_file_name)

$a.ArchiveList.archiveid | %{
write "executing: aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id -"
aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id - }

Pitone

da @robweber

ijson , che invece legge nel file come flusso. Puoi installarlo con pip

import ijson, subprocess

input_file_name = 'output.json'
vault_name = ''
account_id = ''

f = open(input_file_name)
archive_list = ijson.items(f,'ArchiveList.item')

for archive in archive_list:
    print("Deleting archive " + archive['ArchiveId'])
    command = "aws glacier delete-archive --archive-id='" + archive['ArchiveId'] + "' --vault-name " + vault_name + " --acc$
    subprocess.run(command, shell=True, check=True)

f.close()

PHP

da @Remiii

<?php

$file = './output.json' ;
$accountId = 'YOUR_ACCOUNT_ID' ;
$region = 'YOUR_REGION' ;
$vaultName = 'YOUR_VAULT_NAME' ;

$string = file_get_contents ( $file ) ;
$json = json_decode($string, true ) ;
foreach ( $json [ 'ArchiveList' ] as $jsonArchives )
{
    echo 'Delete Archive: ' . $jsonArchives [ 'ArchiveId' ] . "\n" ;
    exec ( 'aws glacier delete-archive --archive-id="' . $jsonArchives [ 'ArchiveId' ] . '" --vault-name ' . $vaultName . ' --account-id ' . $accountId . ' --region ' . $region , $output ) ;
    echo $output ;
}

Contrassegno: dopo aver eliminato un archivio, se scarichi immediatamente l'inventario del Vault, potrebbe includere l'archivio eliminato nell'elenco perché Amazon Glacier prepara l'inventario del Vault solo una volta al giorno.

Vedere. Eliminazione di un archivio in Amazon Glacier

Passaggio 4 / Elimina un Vault

$ aws glacier delete-vault --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Gist originariamente di @Remiii

Ok Quindi alcuni anni fa ho chiuso il mio account e l'ho appena riaperto qualche mese fa e indovino quale Amazon ha ancora il mio 3 TB lì sul mio account e ora mi sono stati fatturati per questi ultimi mesi.

Quindi sono tornato a questa domanda e ho scoperto che:

  • mt-aws-glacier è quasi impossibile da installare sull'ultimo Ubuntu quindi è andato su 12.04 awscli non è lì, quindi quando a 14.04 ho ricevuto un errore sulla mia firma ...
  • La risposta Arq non è più rilevante in Arq 5
  • Poi ho trovato l' essenza sopra e l'ho copiata qui perché è meglio per la comunità
  • Ho provato cloudberry e sembra che dovrebbe funzionare, aggiornerò qui tra 4 ~ 10 ore

-1

Su Mac puoi provare a utilizzare l' app ForkLift (gratuita per la valutazione) che può connettersi ad Amazon S3.


Mi sono collegato ad Amazon S3 ma non mi mostra nulla. Devo specificare un server diverso da s3.amazonaws.com per accedere a glacier?
Kevin,

Mi dispiace che è stato un po 'di tempo fa per me ora ... Non riesco a ricordare come alla fine l'ho risolto ... Penso che potrebbe essere stato tramite questi strumenti da riga di comando elencati in uno di questi altri post.
Marius,

1
Glacier non è S3. Fanno entrambi parte dei servizi Web Amazon e sono entrambi utilizzati per archiviare i file, ma hanno diversi casi d'uso, strutture di pagamento, restrizioni e API. Per questo motivo, gli strumenti S3 non funzionano con Glacier e gli strumenti Glacier non funzionano con S3 (anche se ciò non significa che non ci siano strumenti compatibili con S3 e Glacier, scritti con gestori di rete distinti e logica app per ogni servizio) .
Slipp D. Thompson,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.