Quando costruire un cluster nel cloud è più economico di crearne uno nel mio laboratorio per le simulazioni MD?

Un cluster di calcolo Amazon EC2 costa circa $ 800- $ 1000 (a seconda del ciclo di lavoro) per core fisico della CPU nel corso di 3 anni. Nel nostro ultimo round di acquisizione hardware, il mio laboratorio ha raccolto 48 core di hardware molto simili a quelli dei cluster di Amazon per circa $ 300 al centro.

Mi sto perdendo qualcosa qui? Esistono situazioni in cui ha senso economico creare un cluster nel cloud per attività con CPU elevate come le simulazioni di dinamica molecolare? O sto sempre meglio costruendo e facendo da baby-sitter da solo la macchina del pericolo?

(Devo dire che il mio laboratorio non paga l'elettricità nella nostra sala server (almeno non direttamente), ma anche con questo vantaggio Amazon sembra ancora estremamente costoso).

Il vantaggio principale, a mio avviso, dell'utilizzo delle risorse basate su cloud è la flessibilità, ovvero se si dispone di un carico di lavoro fluttuante, si paga solo per ciò di cui si ha bisogno.

Se questo non è il caso nella tua applicazione, ovvero sai che avrai un carico di lavoro quantificabile e costante, probabilmente stai meglio costruendo il tuo cluster. Nel Cloud, paghi per la flessibilità e se non hai bisogno di flessibilità, pagheresti per qualcosa che non ti serve.

Se il tuo carico di lavoro è flessibile ma piuttosto intenso e si basa su alcune funzionalità hardware (vedi la risposta di eismail), potresti provare a condividere un cluster con altre persone nella tua università per ammortizzare i cicli di inattività. La mia vecchia università gestisce un cluster così condiviso con un "Modello azionista" in cui a ogni gruppo viene garantita una quota della potenza di calcolo proporzionale al loro investimento nell'hardware e nei cicli di inattività che possono essere utilizzati da chiunque. L'unica difficoltà è centralizzare l'amministrazione del cluster.

Ci sono alcune cose di cui preoccuparsi quando si esegue il cloud computing con simulazioni MD. Ad esempio, è necessario preoccuparsi del layout fisico dei processori nella server farm in cui verranno eseguiti questi lavori. Il motivo è che, a seconda delle dimensioni delle simulazioni e dei tipi di calcoli che stai eseguendo (ad esempio, i sistemi con elettrostatica), potresti essere fortemente dipendente dagli FFT e spingere gli elettroni verso processori diversi in un gigantesco cluster potrebbe diventare una parte molto dispendiosa del tempo di calcolo totale.

Inoltre, per un utilizzo intensivo di dati come MD, ti consigliamo di disporre di connessioni veloci per il caricamento e il download sui server, nonché limiti ragionevoli per l'archiviazione dei dati. Altrimenti, molti risparmi sui costi potrebbero essere risucchiati dalla perdita di produttività e spese di stoccaggio.

Per quello che vale, il nostro istituto ha appena acquistato circa ~ 240 core per il nostro cluster locale ad un costo inferiore a 500 € per core. Tale costo include hosting e amministrazione, oltre al servizio, nel nostro campus per quattro anni. Su base annuale che sembra ridicolmente economico. Penso che sia probabilmente il migliore dei due mondi: accesso locale, ma mantenuto professionalmente senza bisogno del nostro team IT.

Non ho esperienza diretta con i servizi cloud come EC2 di Amazon, ma il costo effettivo per core è probabilmente molto maggiore di quanto citi: è il costo di acquisto iniziale, elettricità, raffreddamento, spazio in un edificio, hardware di sostituzione. Inoltre, i costi di amministrazione: impostazione del sistema operativo e dei servizi cluster, aggiornamento del sistema operativo, risoluzione dei problemi della coda, ecc. Non sarei affatto sorpreso se la somma di tutto questo fosse il doppio del costo dell'acquisto iniziale. Ovviamente ottieni flessibilità.

Per me, il modello scende in scala: se hai un cluster veramente grande (1000 core o più), puoi ammortizzare i tempi di lavoro, le riparazioni, l'amministrazione del sistema perché c'è abbastanza da fare per tenere occupato un professionista. Se hai un piccolo gruppo in cui non vale la pena farlo fare a una persona dedicata, è probabile che tu lo faccia fare a qualcuno il cui primo lavoro dovrebbe essere quello di fare scienza, e in quel caso il tempo di questa persona è scarsamente speso in tali lavori amministrativi. È qui che brillano i servizi su richiesta come i server cloud.

Come supplemento ad alcune delle risposte già eccellenti, c'è un altro fattore da considerare:

• Indipendentemente dai costi, come lo pagherai?

Ho riscontrato un numero non banale di sovvenzioni che non pagheranno in nessun caso le spese hardware, ma pagheranno i tempi di calcolo su qualcosa come EC2. Quindi, in alcune circostanze di finanziamento, mentre potresti essere in grado di finanziare un piccolo cluster "testbed" con fondi non strutturati o un pacchetto di avvio di laboratorio, per progetti su larga scala potrebbe essere l'unico modo per finanziare i tuoi costi di elaborazione.

Considera il NIH:

Servizi ADP / Computer: i servizi che includi qui dovrebbero essere servizi informatici specifici di ricerca, come riservare tempo di elaborazione ai supercomputer o ottenere software specializzato per aiutarti a eseguire le tue statistiche. Questa sezione non deve includere il computer desktop standard per l'ufficio, il laptop o il supporto tecnico standard fornito dall'istituto. Tali tipi di oneri dovrebbero derivare dai costi di F&A.

Mentre è possibile mettere le macchine a grappolo sotto la voce $ 5,000 + equipment, e puoi fare una buona argomentazione per questo, ho trovato sia i revisori che sono schizzinosi al riguardo, sia le università che sono titubanti sui costi in corso per mantenere un tale sistema.

Alcune sovvenzioni sono ancora più severe. Una sovvenzione che attualmente ho letto come segue:

I fondi non possono inoltre essere utilizzati per l'hardware del computer

Spesso è semplicemente più facile ottenere un cluster pagato con costi diretti se basato su EC2 o uno dei suoi molti analoghi piuttosto che acquistare effettivamente l'hardware, soprattutto se il tuo istituto è avaro di costi indiretti. Questo potrebbe non essere il tuo caso, ma è il caso di alcuni.

Ci sono già molte risposte a Dio. Voglio solo aggiungere due piccoli punti.

1.) So che IBM offre qualcosa di simile. Quindi, a seconda dell'applicazione, potrebbe valere la pena confrontare le diverse offerte. Non solo per quanto riguarda il costo ma anche l'attrezzatura.

2.) Naturalmente la maggior parte dei laboratori è troppo piccola per poter investire nel proprio cluster. Quindi la domanda è se non è possibile riunire diversi laboratori insieme e investire in un cluster condiviso tra i diversi laboratori. Ciò ha oltre all'ovvio effetto di ripartizione dei costi anche il vantaggio di una distribuzione del carico più uniforme.