Come automatizzare l'avvio di un'istanza Amazon EC2, l'esecuzione di alcuni comandi e l'arresto?

Devo scaricare 100 GB di file (in circa 150 file) entro un periodo di 7 giorni prima che scadano. Il download è limitato dalla velocità dell'host, quindi impiega molto più tempo della velocità di trasferimento teorica basata sulle normali velocità di Internet. Ho uno script di curl http://curl.haxx.se/docs/manpage.html comandi - una riga per file.

Ho avuto l'idea di girare automaticamente su n istanze EC2, eseguire il comando e inviare i file FTP in una posizione centrale, quindi spegnere le macchine. Come lo farei?

Non mi importa se è Linux o Windows.

Consiglierei di utilizzare una delle AMI di Canonical in combinazione con cloud-init

https://help.ubuntu.com/community/CloudInit

Cerca la sezione "Script utente-dati" in cui è possibile utilizzare il file --user-data per avviare automaticamente uno script all'avvio. Quindi, puoi semplicemente mettere tutti i comandi che vuoi eseguire nello script e mettere "shutdown -h now" alla fine dello script.

Ho usato boto per scrivere queste cose prima. È più facile far girare le immagini di Linux e poi usarle per farle funzionare.

Non sono sicuro della soluzione migliore. Ma se lo fai su base regolare e hai bisogno di qualcosa per avviare e arrestare automaticamente le tue macchine, allora potresti voler guardare questo prodotto: http://LabSlice.com (con la dichiarazione di non responsabilità che sono il CTO).

Vagrant con il provider AWS lo fa facilmente ed è multipiattaforma.

Una volta Vagrantfilecreato, quindi avvia l'istanza con vagrant up, accedi con vagrant sshe distruggila con vagrant destroy. Super-facile.