Perché le aziende Internet preferiscono Java / Python per il lavoro di data scientist?

Vedo molte volte nella descrizione del lavoro uno scienziato di dati che chiede esperienza in Python / Java e ignora R. Di seguito è un'e-mail personale che ho ricevuto dal capo scienziato di dati di una società per la quale ho fatto domanda tramite linkedin.

X, grazie per esserti connesso ed esprimere interesse. Hai buone capacità di analisi. Tuttavia, tutti i nostri data scientist devono possedere buone capacità di programmazione in Java / Python in quanto siamo un'organizzazione Internet / mobile e tutto ciò che facciamo è online.

Mentre rispetto la decisione del capo scienziato di dati, non sono in grado di avere un quadro chiaro di quali sono i compiti che Python può fare che R non può fare. Qualcuno può preoccuparsi di elaborare? In realtà, sono impaziente di imparare Python / Java, a condizione di avere un po 'più di dettagli.

Modifica: ho trovato un'interessante discussione su Quora. Perché Python è un linguaggio di scelta per i data scientist?

Edit2: Blog di Udacity su lingue e librerie per l'apprendimento automatico

Quindi puoi integrarti con il resto della base di codice. Sembra che la tua azienda usi un mix di Java e Python. Cosa farai se un piccolo angolo del sito necessita dell'apprendimento automatico; passare i dati con un database o una cache, passare a R e così via? Perché non fare tutto nella stessa lingua? È più veloce, più pulito e più facile da mantenere.

Conosci qualche compagnia online che gira esclusivamente su R? Neanche io...

Tutto ciò che diceva Java è l'ultima lingua in cui farei scienza dei dati.

Potrebbero esserci molte ragioni come:

1. Flessibilità della forza lavoro: un programmatore Java / Python può essere spostato facilmente verso altre attività o progetti.

2. Disponibilità dei candidati: ci sono molti programmatori Java / Python. Non vuoi introdurre un nuovo linguaggio di programmazione per scoprire in seguito che non ci sono lavoratori qualificati o che sono semplicemente troppo costosi.

3. Integrazione ed ETL: a volte ottenere i dati con la giusta qualità è la parte più difficile del progetto. Quindi è naturale usare la stessa lingua del resto dei sistemi.

4. Definizione del modello di business: la maggior parte delle regole e dei modelli di business sono già scritti in queste lingue.

5. Semplicemente mantenendo le cose semplici. È già abbastanza difficile essere aggiornati con le tecnologie. Una diversa base di linguaggio può essere caotica. R per questo, Ruby per quello, Scala, Clojure, F #, Swift, Dart ... Potrebbero aver bisogno di server diversi, percorsi diversi, un inferno da amministrare. Tutti hanno i propri IDE con strumenti e plugin (non sempre gratuiti). Guarda alcuni punti di zio Bob sulla scelta delle lingue e le nuove tecnologie

Quindi, anche se hai un vantaggio di produttività del 5% - 15% usando R per l'attività specifica, potrebbero preferire uno strumento che fa il lavoro, anche se non nel modo più efficiente.

È in generale vero che per esercizi puramente di scienza dei dati e statistica R offre gli data.tablestrumenti e i metodi migliori e più veloci (specialmente se si utilizza il pacchetto), che altrimenti sarebbero più pesanti da implementare in Python (suppongo che da Python intendiamo tutti Panda, sebbene ). La maggior parte dei data scientist utilizza infatti R per eseguire i propri modelli e calcoli, o semplicemente per vedere come si comportano i dati.

Una volta che l'esercizio è completo, è tempo di renderlo disponibile per il resto delle persone che devono usarlo (cioè per dispiegare); a questo scopo è spesso preferibile inviare il codice in Python per due motivi principali:

1. La maggior parte delle architetture sono scritte in Python o sono compatibili con Python, quindi sarebbe più semplice implementare modelli scritti nativamente in quel linguaggio.
2. La sintassi e la grammatica R sono estremamente complicate. Personalmente preferisco fortemente R diverso da qualsiasi altra cosa, ma devo comunque ammettere che la sintassi non è molto semplice e ha una curva di apprendimento molto scelta.

Quanto detto sopra, è ancora vero che si può facilmente tradurre il codice R in qualsiasi altra lingua, a condizione che siano disponibili metodi, librerie e pacchetti (in Python la maggior parte di essi è, quindi non è affatto un problema). Molte infrastrutture e database supportano il codice R sottostante, quindi la portabilità non è davvero un problema, soprattutto se si devono solo presentare i risultati dei calcoli (a tal fine, nessuno vede davvero il codice sottostante comunque).

Java non è quasi utile per la pura scienza dei dati stessa (anche se la Stanford University ha una raccolta di librerie NLP di machine learning scritte in Java, per quanto ne ricordo - ma per favore controlla). L'unico motivo per cui può essere richiesto è solo che il resto dell'azienda lo utilizza in larga misura e non vuole sostituirlo con qualcosa di nuovo.

Ho visto diverse aziende che usano il titolo Data Scientist per ruoli di tipo "Ingegnere dei dati". Soprattutto nello spazio dei big data.

Se la società sta usando Hadoop o un framework distribuito come Spark per fare le sue analisi in allora Java o Python (o probabilmente Scala) sarebbero i linguaggi che avrebbero più senso.

Giava

Dovrei essere in disaccordo con gli altri poster sulla domanda Java. Esistono alcuni database noSQL (come hadoop) di cui è necessario scrivere lavori mapreduce in java . Ora puoi usare HIVE per ottenere più o meno lo stesso risultato.

Pitone

Il dibattito su Python / R continua. Entrambi sono linguaggi estensibili, quindi potenzialmente entrambi potrebbero avere la stessa capacità di elaborazione. Conosco solo R e la mia conoscenza di Python è piuttosto superficiale. Parlando come un piccolo imprenditore, non vuoi avere troppi strumenti nella tua attività, altrimenti ci sarà una generale mancanza di profondità e difficoltà a sostenerli. Penso che si ridurrà alla conoscenza approfondita degli strumenti nel team. Se il team si concentra su Python, assumere un altro scienziato di dati Python avrà senso in quanto possono interagire con la base di codice esistente e il codice dell'esperimento storico.

Almeno per il mio team attuale (~ 80 data scientist e ingegneri), non abbiamo questa preferenza. La metà dei data scientist qui usa R e un'altra metà usa Python. Molti possono codificare in entrambi. Distribuiamo codice Python e R in produzione.

Non credo che nessuno dei nostri data scientist utilizzi Java. Se hanno bisogno di gestire i big data, possono usare SparkSQL o PySpark. Il team di ingegneria dei dati utilizza un mix di Java / Scala / Python / Go.

Se sei uno dei pochi addetti ai dati in una piccola azienda, posso capire perché richiedono determinate competenze linguistiche in modo da poter fare sia scienza dei dati che ingegneria. Tuttavia, penso che la maggior parte delle piccole aziende non disporrà di dati sufficientemente grandi che Python o R non possano gestire in produzione.

Il mio punto di vista come programmatore generico con una piccola esperienza in R: R è eccellente per la scienza dei dati, ma è orientato verso le persone che interpretano manualmente i dati. Se si desidera utilizzare i risultati per qualcosa di automatizzato, è necessario interfacciarsi con qualcos'altro e sarà difficile fare qualcos'altro in un linguaggio specifico del problema come R. Riesci a creare un sito Web in R? :) D'altra parte, Python ha librerie già pronte per le cose di scienza dei dati ed è un linguaggio di programmazione per scopi generici che non ti ostacola nel fare qualcos'altro. Per quanto riguarda Java, è utile per grandi progetti di programmazione con centinaia di migliaia o milioni di righe di codice. Se la parte di scienza dei dati deve interfacciarsi con quella, allora può avere senso fare tutto in Java.

Gemito casuale: perché devo accedere a ciascun sito StackExchange separatamente?

Gli strumenti in Python sono semplicemente migliori di R. La comunità R è piuttosto stagnante mentre la comunità Python si sta evolvendo molto rapidamente. Soprattutto negli strumenti per la scienza dei dati.
Inoltre Python funziona in modo molto più semplice con tutto ciò che lo circonda. È possibile raschiare facilmente il Web, connettersi a database e così via. Ciò rende la prototipazione molto veloce.
E se disponi di un prototipo funzionante e ti preoccupi di renderlo più veloce o di integrarlo nel flusso di lavoro aziendale, di solito viene reimplementato in Java.

R ha alcuni strumenti e visualizzazioni accurati, ma non è eccezionale creare nuove cose al suo interno.