Esistono servizi cloud gratuiti per la formazione di modelli di machine learning?


27

Voglio formare un modello profondo con una grande quantità di dati di addestramento, ma il mio desktop non ha quel potere di formare un modello così profondo con questi dati abbondanti.

Mi piacerebbe sapere se ci sono servizi cloud gratuiti che possono essere utilizzati per la formazione di machine learning e modelli di deep learning?

Vorrei anche sapere se esiste un servizio cloud, in cui sarei in grado di monitorare i risultati della formazione e la formazione continuerebbe anche se non sono connesso al cloud.

Risposte:


19

Non ci sono servizi gratuiti illimitati *, ma alcuni hanno credito iniziale o offerte gratuite al momento della registrazione iniziale. Ecco alcuni suggeriti fino ad oggi:

  • AWS: se specificamente l'apprendimento approfondito su un set di dati di grandi dimensioni, probabilmente AWS è disponibile: la loro offerta gratuita non copre le macchine con una potenza di elaborazione sufficiente per affrontare i progetti di apprendimento profondo.

  • Google Cloud potrebbe fare, l'offerta di credito iniziale è abbastanza buona per fare un po 'di apprendimento profondo (forse per un paio di settimane), anche se hanno restrizioni di iscrizione e fiscali.

  • Azure ha un livello gratuito con opzioni di elaborazione e archiviazione limitate.

La maggior parte delle offerte gratuite sembrano seguire il modello "Freemium": ti offrono un servizio limitato che puoi imparare a usare e forse come. Tuttavia, non è abbastanza per usarlo pesantemente (per esempio addestrando un riconoscitore di immagini o un modello NLP da zero) a meno che tu non sia disposto a pagare.

Questo miglior consiglio è di cercare la migliore offerta di partenza e il miglior prezzo. Una revisione dei servizi non è adatta qui, poiché si aggiornerà rapidamente e non sarà un buon uso di Stack Exchange. Ma puoi trovare domande simili su Quora e altri siti: la soluzione migliore è fare una ricerca sul web per "servizi di cloud computing per l'apprendimento profondo" o simili e aspettarti di passare un po 'di tempo a confrontare le note. Di recente sono comparsi alcuni servizi di deep learning specializzati come Nimbix o FloydHub , e ci sono anche grandi attori come Azure, AWS, Google Cloud.

Non troverai nulla di completamente gratuito e senza limiti, e se vuoi farlo regolarmente e avere il tempo di costruire e mantenere l'hardware, è più economico acquistare le tue apparecchiature a lungo termine - almeno a livello personale.

Per decidere se pagare per il cloud o crearne uno tuo, prendi in considerazione un prezzo tipico per un cloud machine adatto a eseguire l'apprendimento profondo a circa $ 1 all'ora (i prezzi tuttavia variano molto e vale la pena fare acquisti, se non altro per trova una specifica che corrisponda al tuo problema). Potrebbero essere applicati costi aggiuntivi per l'archiviazione e il trasferimento dei dati. Confrontalo con le macchine di apprendimento profondo pre-costruite che costano da $ 2000 o costruendo la tua per $ 1000 : tali macchine potrebbero non essere comparabili al 100%, ma se lavori da solo il punto di ammortamento sarà dopo solo alcuni mesi di utilizzo. Anche se non dimenticare i costi dell'elettricità: una macchina potente può assorbire 0,5kW pur essendo utilizzata pesantemente, quindi questo si aggiunge a più di quanto ti aspetti.

I vantaggi del cloud computing sono che qualcun altro esegue i lavori di manutenzione e si assume il rischio di guasti hardware. Questi sono servizi preziosi e valutati di conseguenza.


* Ma vedi la risposta di Jay Speidall sul servizio colab di Google, che sembra essere libero da usare, ma potrebbe avere alcune limitazioni di T&C che potrebbero interessarti (per esempio, dubito che saranno felici per te di eseguire la produzione di contenuti di Deep Dream o Style Transfer su di esso)


"Non ci sono servizi gratuiti" <- questo non è vero
Gaius

2
@Gaius Ho aggiunto la correzione per Colab - Vedo che la tua risposta aggiunge Azure (con rigide limitazioni). IMO, "1 ora per esperimento" va bene per le basi di autoapprendimento del deep learning. Non è molto utile per ricerche serie. Impossibile usarlo per la maggior parte delle competizioni Kaggle. Consiglierei comunque un servizio a pagamento o build-your-your sopra usando Azure gratis. Naturalmente ciò che Microsoft spera è che ti alleni sul loro sistema, quindi esegui l'upgrade per fare un vero lavoro.
Neil Slater

Saluti :-) Goditi il ​​resto della festività!
Gaius,

@Gaius: grazie! In effetti, ho fatto di questa risposta un wiki della comunità per spero che smettesse di andare oltre.
Neil Slater

2
@Media: posso mantenere il rappresentante fino ad ora. Rendendolo un wiki della comunità consente ad altre persone di aggiornarlo con ulteriori informazioni - mi aspetto di aggiungere servizi di grandi nomi e più o meno come appare il loro livello di servizio gratuito. Dozzine di risposte di "aggiornamento" con le ultime modifiche all'ambiente di apprendimento profondo SaaS / IaaS potrebbero rendere difficile la lettura della pagina.
Neil Slater,

18

Voglio aggiungere un'altra risorsa, Google Colaboratory . È un notebook iPython cloud gratuito e ti dà l'uso gratuito di una GPU. Non sono ancora sicuro delle esatte limitazioni, ma sembra che tu abbia 12 ore di tempo GPU per istanza e puoi farlo più volte al mese.

Questa sembra un'ottima risorsa per studenti e altri non professionisti, in particolare per lavori più piccoli che è possibile eseguire in mezza giornata. In sostanza, a mio avviso, ti consente di risparmiare fino a $ 10 per sessione di allenamento, che è una risorsa abbastanza significativa per la ricerca sull'apprendimento automatico. Spero seriamente che non venga abusato.


3
Sembra che sarà gratuito a tempo indeterminato.
Jay Speidell,

1
Le GPU NVIDIA Tesla T4 sono state recentemente aggiunte ...
Benj,


11

Sì, con limitazioni. Google Cloud Compute ti offre 300 dollari di iscrizione gratuita al credito e Microsoft Azure ti offre 200 dollari (ma il loro tempo di GPU è un po 'più economico, quindi è quasi lo stesso).

Questo ti farà guadagnare un sacco di tempo GPU e ti farà iniziare mentre soppeserai le tue opzioni.


1
Ci sono stati alcuni suggerimenti di modifica e confusione al riguardo. Google Cloud offre infatti istanze GPU e persino TPU e il tuo credito è idoneo per questo. In realtà lo sto usando mentre parliamo di ospitare notebook Jupyter supportati dalla GPU.
Jay Speidell,

il caricamento ha qualche limite per le ore libere? sai che è più forte del loro sistema Colab? E infine, sai quante ore sono gratuite?
Media,

Per le prove di "Credito gratuito" che offrono vari servizi, avrai pieno accesso a tutti i servizi senza restrizioni. Il credito viene appena applicato alla tua fattura. Colab ha un limite di 12 GB di RAM, quindi la configurazione di Jupyter su un'istanza di Compute Engine offre molte più opzioni per le risorse.
Jay Speidell,

1

Microsoft Azure Machine Learning Studio ha un livello "sempre gratuito", soggetto a determinate limitazioni , tra cui

  • 100 moduli per esperimento (un "modulo" in Azure-speak è un'operazione discreta come "caricamento dati" o "modello di treno", quindi puoi fare un bel po 'con 100 di essi)
  • 10 GB di spazio di archiviazione
  • 1 ora per esperimento
  • Nessuna esecuzione parallela su più nodi

L'allenamento continuerà a funzionare anche quando non sei connesso, per rispondere alla tua seconda domanda. Puoi impostare i tuoi esperimenti tramite l'interfaccia web o dalla riga di comando .


1

Il corpo della domanda pone domande sull'apprendimento profondo, ma è la prima domanda che viene posta quando viene cercato "servizio online gratuito per l'apprendimento automatico".

Volevo aggiungere che ci sono anche altri servizi ML online gratuiti là fuori.

Sono il fondatore di uno di questi servizi con un livello gratuito ( fml.ai ) che funziona su AWS / Google Cloud. La nostra interfaccia utente è progettata per essere intuitiva, autoesplicativa e utilizzare la tecnologia interna e open source curata. Naturalmente ci sono limitazioni al livello gratuito e attualmente sono consentiti solo set di dati fino a 100 MB. Tuttavia, gli utenti possono creare modelli e visualizzare i risultati gratuitamente.

Credo che ci siano anche altri là fuori ...


0

Sembra che Intelpermetta agli utenti di usare gratuitamente la sua IA DevCloudper trenta giorni. Ecco le istruzioni.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.