Piattaforme di cloud computing per l'apprendimento automatico [chiuso]


Risposte:


15

Non ho usato queste aziende, ma queste sono solo alcune delle opzioni. Tuttavia, l'impostazione su EC2 è molto semplice. Almeno dopo aver intorpidito la testa battendola contro il muro abbastanza forte e abbastanza spesso. Aumenta anche la soglia del dolore. I bambini di questi tempi hanno molto più facile. Quando stavo iniziando, stavamo facendo il fog computing: non avevamo il più nebuloso ciò che stavamo calcolando.

Reminiscenze a parte ... Esistono strumenti e risorse per bypassare questi fornitori e iniziare da soli. JD Long ha, consegue , reso più semplice iniziare a usare R su EMR.

Per quanto riguarda Python, boto è una suite che consente di far funzionare Python facilmente su EC2. È anche abbastanza facile far funzionare Python su AppEngine di Google , se sei disposto a prendere in considerazione un'alternativa EC2. Se conosci Python, allora non c'è davvero bisogno di assumere un'azienda per fare il sollevamento per te, a meno che tu non abbia familiarità con il ridimensionamento, lo sharding, il bilanciamento del carico, ecc., Anche a livello concettuale. D'altra parte, se stai pensando di spendere un sacco di soldi per tali servizi, è una buona idea familiarizzare con come rendere efficiente il tuo codice.

Per quanto riguarda Octave sul cloud, non ho idea di cosa esiste oltre a queste tre società. Monkey Analytics era solito offrirlo, ma sembra che non ci siano più. Consiglierei di evitare Octave e di concentrarmi su Python o R.

Una risorsa per semplificare l'installazione è StarCluster . Ancora una volta, nessuna esperienza con loro, ma potrebbe essere un percorso utile.

In tutta onestà, Ubuntu (o Windows) ed EC2 non sono così difficili da imparare. Non consiglierei davvero Windows per R, poiché non c'è molto amore tra gli sviluppatori R e Windows. (NB: per quanto ne so, non esistono seri servizi cloud per Mac OS X.) Una volta che hai un desktop remoto, sei in affari. Imparare a scalare è il prossimo passo.


Aggiornamento 1: Altri servizi di gestione del cloud più generali includono RighstScale e Scalr.

Aggiornamento 2: voglio sottolineare che è importante imparare a configurare istanze e cluster nel cloud. Tra i vantaggi del lavoro pratico:

  • Scopri come gestire una combinazione di risorse (più istanze, più tipi di istanza, molti HD, diverse zone o regioni di disponibilità, vari strumenti di monitoraggio e altro)
  • Armeggia con le GPU se lo desideri (controlla gputools)
  • Puoi aggiornare o ripristinare più facilmente la tua selezione di pacchetti
  • Potresti essere in grado di ottenere costi molto più bassi utilizzando istanze spot o istanze riservate.
  • Puoi provare diverse GUI R o IDE, che potrebbero non essere un'opzione per i fornitori di cloud.

Ci sono vantaggi nell'utilizzare un provider gestito, come una curva di apprendimento più breve, un supporto forse migliore per la condivisione di risorse tra un gruppo e forse qualche buon aggeggio, ma non posso parlare dei vantaggi poiché ho iniziato a usare EC2 prima di uno di questi è venuto sul mercato.


5

C'è anche PiCloud per l'esecuzione del codice Python in parallelo su EC2.

Dalla loro pagina di prodotto :

PiCloud è una piattaforma di cloud computing che si integra nel linguaggio di programmazione Python. Ti consente di sfruttare la potenza di elaborazione di Amazon Web Services senza dover gestire, mantenere o configurare server virtuali.

PiCloud si integra perfettamente nella base di codice esistente tramite una libreria Python personalizzata, cloud. Per scaricare l'esecuzione di una funzione sui nostri server, è sufficiente passare la funzione desiderata nella libreria cloud. PiCloud eseguirà la funzione sul suo cluster ad alte prestazioni. Man mano che esegui più funzioni, il nostro cluster si ridimensiona automaticamente per soddisfare le tue esigenze computazionali. Salire sul cloud non è mai stato così semplice!


Sono piuttosto affezionato a PiCloud: li ho trovati straordinariamente facili da mettere in funzione.
Fomite,

3

Hai provato CloudStat prima? Diversamente dagli altri cloud, CloudStat è pensato solo per gli utenti di R Language. Non c'è più installazione. puoi semplicemente accedere e utilizzare fino a 7,5 GB di RAM gratuitamente.

Tuttavia, con account gratuito, la tua analisi verrà visualizzata e utilizzata dal pubblico. L'opzione è di pagare $ 5 al mese per rendere privata la tua analisi.


Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.