Avere un lavoro nel data mining senza dottorato

Sono stato molto interessato al data mining e all'apprendimento automatico per un po ', in parte perché mi sono laureato in quell'area a scuola, ma anche perché sono davvero molto più entusiasta nel cercare di risolvere problemi che richiedono un po' più di pensiero rispetto alla semplice programmazione conoscenza e la cui soluzione può avere più forme. Non ho un background di ricercatore / scienziato, vengo da un background di informatica con enfasi sull'analisi dei dati, ho un master e non un dottorato. Attualmente ho una posizione relativa all'analisi dei dati, anche se non è l'obiettivo principale di ciò che sto facendo, ma ho almeno una buona esposizione ad esso.

Mentre intervistavo qualche tempo fa per un lavoro con diverse aziende e ho avuto modo di parlare con alcuni recruiter, ho trovato un modello comune secondo cui le persone sembrano pensare che devi avere un dottorato di ricerca per fare apprendimento automatico , anche se potrei essere generalizzando un po 'troppo (alcune aziende non cercavano proprio i dottorandi).

Mentre penso che sia bello avere un dottorato di ricerca in quell'area, non penso che ciò sia assolutamente necessario . Ho una discreta conoscenza della maggior parte degli algoritmi di machine learning nel mondo reale, ne ho implementati la maggior parte da soli (a scuola o su progetti personali) e mi sento abbastanza sicuro quando mi trovo ad affrontare problemi che coinvolgono l'apprendimento automatico / data mining e le statistiche in generale . E ho alcuni amici con un profilo simile che sembrano anche molto ben informati su questo, ma sentono anche che in generale le aziende sono piuttosto timide nell'assumere nel data mining se non sei un dottorato.

Mi piacerebbe ricevere un feedback, pensi che un dottorato sia assolutamente necessario per avere un lavoro molto focalizzato in quell'area?

(Ho esitato un po 'prima di pubblicare questa domanda qui, ma poiché sembra essere un argomento accettabile su meta , ho deciso di pubblicare questa domanda a cui ho pensato per un po'.)

Credo che sia vero il contrario delle tue conclusioni. In The Disposable Academic , vengono forniti diversi suggerimenti sul basso salario in matematica applicata, matematica e informatica per i dottorandi rispetto ai titolari di master. In parte, ciò è dovuto al fatto che le aziende si stanno rendendo conto che i titolari di un master di solito hanno la stessa profondità teorica, migliori capacità di programmazione e sono più flessibili e possono essere formati per i compiti specifici della loro azienda. Ad esempio, non è facile convincere un discepolo SVM ad apprezzare l'infrastruttura della tua azienda che si basa su alberi decisionali. Spesso, quando qualcuno ha dedicato tonnellate di tempo a un particolare paradigma di apprendimento automatico, ha difficoltà a generalizzare la propria produttività ad altri settori.

Un altro problema è che molti lavori di machine learning in questi giorni riguardano solo le cose, e non tanto lo scrivere o lo sviluppo di nuovi metodi. Puoi adottare un approccio ad alto rischio per lo sviluppo di nuovi strumenti matematici, lo studio degli aspetti VC-dimensionali del tuo metodo, la sua teoria della complessità sottostante, ecc. Ma alla fine, potresti non ottenere qualcosa di cui i professionisti si preoccuperanno.

Nel frattempo, guarda qualcosa come i poselet . Fondamentalmente nessuna nuova matematica deriva affatto dai poselet. È del tutto non elegante, goffo e privo di qualsiasi raffinatezza matematica. Ma si adatta a set di dati di grandi dimensioni incredibilmente bene e sembra che sarà un punto fermo nel riconoscimento delle pose (specialmente nella visione artificiale) per qualche tempo a venire. Quei ricercatori hanno fatto un ottimo lavoro e il loro lavoro deve essere applaudito, ma non è qualcosa che la maggior parte delle persone associa a un dottorato di apprendimento automatico.

Con una domanda come questa, avrai tonnellate di opinioni diverse, quindi considerale tutte. Sono attualmente uno studente di dottorato in visione artificiale, ma ho deciso di lasciare presto il mio programma con un master e lavorerò per una società di gestione patrimoniale facendo apprendimento automatico del linguaggio naturale, statistiche computazionali, ecc. Ho anche considerato lavori di data mining basati su annunci pubblicitari presso diverse grandi società televisive e alcuni lavori di robotica. In tutti questi domini, ci sono molti lavori per qualcuno con maturità matematica e abilità nel risolvere problemi in più linguaggi di programmazione. Avere un master va bene. E, in base a quell'articolo di Economist, verrai pagato fondamentalmente proprio come qualcuno con un dottorato di ricerca. E se lavori al di fuori del mondo accademico,

Come disse una volta Peter Thiel, "La scuola di specializzazione è come premere il pulsante snooze sulla sveglia della vita ..."

Disclaimer: ho un dottorato di ricerca e lavorare nell'apprendimento automatico. Detto questo, penso che oltre a diventare un accademico, non hai bisogno di un dottorato di ricerca. lavorare in qualsiasi campo. Ottenere un dottorato ti aiuta a sviluppare alcune capacità di ricerca, ma

1. Non hai bisogno di quelle capacità di ricerca per la maggior parte dei lavori.
2. Puoi acquisire queste abilità senza ottenere un dottorato di ricerca. grado.

Martin Wolf , il principale corrispondente economico del Financial Times , non ha un dottorato di ricerca. (ha un Master), ma la sua parola ha un peso molto maggiore rispetto alla maggior parte dei dottorandi. laureati. Penso che per avere successo in qualsiasi campo (incluso l'apprendimento automatico), devi sapere come imparare e pensare cose complete da solo. Un dottorato ti aiuterà a praticare queste abilità, ma non è fine a se stesso. Chi non è disposto a intervistarti solo perché non hai un dottorato di ricerca, probabilmente non vale la pena lavorare comunque.

Disclaimer: non ho un dottorato di ricerca in CS, né lavoro in machine learning; Mi sto generalizzando da altre conoscenze ed esperienze.

Penso che ci siano diverse buone risposte qui, ma, secondo la mia onesta opinione, non rendono ancora del tutto esplicito il problema principale. Cercherò di farlo, ma riconosco che non credo di dire qualcosa di radicalmente diverso. Il problema principale qui riguarda lo sviluppo delle abilità rispetto alla segnalazione .

Per quanto riguarda lo sviluppo delle competenze , alla fine vuoi (come dipendente) essere in grado di svolgere il lavoro, fatto bene e fatto rapidamente, e il datore di lavoro vuole (o presumibilmente dovrebbe) una tale persona. Quindi, la domanda qui è: quanto sviluppo extra di abilità ottieni con un paio di anni in più di formazione accademica? Certamente dovresti guadagnare qualcosa, ma riconosci che le persone che non continuano con la scuola di specializzazione probabilmente non si limitano a sedersi sul loro duff fino a quando non si saranno diplomate. Pertanto, stai confrontando un insieme di esperienze (accademiche) con un altro (lavoro). Una buona parte dipende dalla qualità e dalla natura del dottorato. programma, i tuoi interessi intrinseci, quanto sei auto-diretto e che tipo di opportunità e supporto sarebbero disponibili nel tuo primo lavoro.

Al di fuori dell'effetto che la formazione accademica continua ha sullo sviluppo delle abilità, c'è la questione dell'effetto e del valore del segnale (cioè, di avere "Ph.D" aggiunto dopo il tuo nome). Il segnale può essere d'aiuto in due modi: in primo luogo, può aiutarti a ottenere il tuo lavoro iniziale e non dovrebbe essere ignorato, può essere molto importante. La ricerca ha dimostrato che le persone che sono obbligate a iniziare in una prima posizione che non è appropriata per loro non tendono mai a fare altrettanto (in termini di carriera, in media) come le persone che iniziano a iniziare un lavoro che è buono abbinare per le loro capacità e interessi. D'altra parte, il consenso sembra essere che dopo il tuo primo lavoro, le tue prospettive future siano molto più fortemente influenzate dalle tue prestazioni nel tuo lavoro precedente rispetto alle tue credenziali accademiche.

Il secondo aspetto del segnale ha a che fare con la relazione tra analista e consumatore dell'analisi. @EMS fa un buon lavoro nel mettere in evidenza questo punto in un commento. Ci sono molti piccoli negozi di consulenza, e adorano avere un dottorato di ricerca da mostrare ai potenziali clienti: nelle riunioni iniziali cercando di ottenere un contratto, sulla carta intestata, nelle presentazioni di prodotti finiti, ecc. I dottorati sono sempre lì. È facile essere cinici su questo, ma penso che ci sia un valore legittimo per la società di consulenza e il consumatore (che potrebbero non sapere molto su queste questioni e possono usare le credenziali per aiutarle a selezionare un'azienda che farà un buon lavoro per loro) . Dietro le quinte, alcuni dei lavori possono essere affidati a persone competenti con meno credenziali, ma vogliono il dottorato. per il front-end e per firmare il prodotto di lavoro prima della consegna. Potrei vedere qualcosa di analogo accadere con una start-up se stanno cercando di attirare capitali e vogliono rassicurare gli investitori.

Sono d'accordo con la maggior parte di ciò che è stato detto qui, ma voglio introdurre alcune questioni pratiche che sorgono quando si presentano domande di lavoro in finanza. Spesso vedrai annunci che affermano che un dottorato di ricerca in statistica o matematica è richiesto per fare domanda per una particolare posizione commerciale o quantitativa dello sviluppatore. So che ci sono alcuni motivi particolari per questo. Mente, non sto dicendo che sia giusto, ma è quello che succede in pratica:

• Ci sono molti candidati al lavoro, specialmente per le aziende più conosciute, e il datore di lavoro non può dedicare abbastanza tempo a ciascun candidato. Il filtraggio delle applicazioni in base al background accademico riduce la dimensione della popolazione a un numero più gestibile. Sì, ci saranno dei problemi. Sì, non è il modo migliore per trovare individui produttivi . Ma in media stai cercando professionisti qualificati che hanno dedicato anni per imparare l'arte. Dovrebbero almeno avere la disciplina per superare un complesso progetto di ricerca.

• Il team e la società saranno arricchiti da numerosi dottorati da presentare agli investitori e ai clienti. Ciò darà alla società un'immagine di "oracolare" conoscenza e ne trarrà vantaggio. La valutazione immateriale dell'azienda può aumentare. L'investitore medio sarà più fiducioso nel concedere il proprio capitale a un team di scienziati così esperto. Puoi fare un punto simile sugli MBA.

• Infine, a volte le politiche aziendali impongono che i risultati accademici più elevati debbano avere un percorso professionale preferenziale e un compenso. Credo che ciò sia vero per la maggior parte delle aziende in diversi settori, non solo per la finanza. È difficile vedere John con una laurea in informatica che gestisce dottorati in matematica.

Disclaimer: sono un reclutatore e lo sono dal 1982, quindi capisco molto bene la tua domanda. Lasciami scomporre in questo modo. Il tuo curriculum è un dispositivo di screening. Le aziende ricevono tonnellate di curriculum, quindi stanno leggendo curriculum con una domanda in mente, "Perché non voglio parlare con questa persona?" Ciò riduce il loro ammasso a pochi candidati che hanno le migliori possibilità di soddisfare le loro esigenze. Quindi, se stai ricevendo interviste e il tuo curriculum non mostra un dottorato di ricerca, c'è qualcos'altro che sta succedendo qui. Lo dico perché, proprio come un curriculum è un dispositivo di screening OUT, l'intervista è un dispositivo di screening IN. Una volta che ti hanno invitato a un colloquio, hanno già concluso che hai abbastanza "sulla carta" per fare il lavoro. Quindi quando cammini nell'intervista l'unica domanda che ti stai davvero chiedendo "perché dovrei assumerti?" La persona che assumeranno sarà la persona che si rivolge per soddisfare al meglio le esigenze dell'azienda.

Il mio consiglio come reclutatore è di porre domande durante il colloquio per identificare i loro bisogni più profondi. Credimi, la descrizione del lavoro assomiglia raramente alla verità, quindi ti consigliamo di cercare i loro pulsanti di scelta rapida e poi vendere direttamente a questi problemi. Non lasciare che l'intervista si senta come un interrogatorio, aspettando che la fine faccia domande. Andrai in fiamme e finirai per dirti "non hai un dottorato di ricerca". Sii rispettoso ma mostra la tua disponibilità ad aiutarli a risolvere il loro problema.

La mia domanda preferita è: "Quali sono i tratti della persona migliore che tu abbia mai conosciuto in questo ruolo?" Ognuno ha in mente una squadra da sogno, quindi è importante capire quali tratti ritengono necessari per avere successo in questo ruolo. Ricorda, questa non è una domanda su esperienza, sfondi o gradi. Vedi, riesco sempre a trovare un dottorato mediocre con tonnellate di esperienza, quindi questo non è il Santo Graal. È proprio quello che le aziende continuano a pensare sia meglio perché IMO non sanno come altro scrivere una descrizione del lavoro che catturi l'essenza della persona di cui hanno bisogno.

I miei 2 centesimi: No, non credo. Un dottorato di per sé non dà diritto a essere migliore per il data mining o ML. Prendi il Jeremy Howard di Kaggle. Vorrei persino dire che un dottorato non dice molto su qualifiche in quanto vi è un'enorme variabilità nella qualità dei programmi. Forse l'unica cosa che un dottorato dimostra è che il titolare ha un'alta tolleranza alla frustrazione.

In conclusione: se sei interessato a quell'area, competente, creativo e operoso, perché dovresti avere bisogno di un dottorato di ricerca? Dovresti contare, non i tuoi titoli.

Se un lavoro richiede un dottorato o meno dipende dal livello di responsabilità e dalla percezione del datore di lavoro e / o dei suoi clienti. Non penso che ci sia una disciplina che richiede un dottorato. Certamente il data mining può essere appreso e un dipendente può svolgere un lavoro produttivo senza un dottorato di ricerca. Ciò dipende più dalla persona, dalla sua capacità di apprendere rapidamente e adattarsi, nonché dalla capacità di comprendere la letteratura, che dalla precedente istruzione. Ciò è particolarmente vero per il data mining che è un campo in evoluzione. Quindi anche i minatori di dati con dottorato di ricerca avranno più da imparare col passare del tempo.

Ho un master in Statistica applicata e ho lavorato in Europa come Data Miner. Quando sono arrivato nel Regno Unito nessuno aveva mai sentito parlare del data mining e tanto meno studiato per un simile grado. Ora è un luogo comune e i datori di lavoro ritengono che un dottorato sia necessario per questo lavoro. Tuttavia, è la conoscenza statistica e l'aspetto della modellistica che è importante per questo lavoro. Nella mia esperienza, la maggior parte delle persone IT non capisce le statistiche e quindi non è in grado di fare bene il lavoro. Ho iniziato a insegnare e ora mi sto registrando per fare un dottorato in Statistica applicata per soddisfare questi datori di lavoro. Probabilmente conosco più della maggior parte dei dottorandi che hanno studiato per il mio Master negli anni '80, quando il livello era molto alto. Penso di essere un buon minatore di dati, uno deve avere un background in Statistica.

Questo dipende totalmente dal lavoro da svolgere. Nella mia esperienza (ho un dottorato di ricerca), ci sono 3 tipi di lavori. Innanzitutto, come è stato detto, la maggior parte dei lavori del settore in questi giorni sono orientati all'apprendimento automatico applicato, vale a dire applicare-modificare gli algoritmi ML esistenti al problema specifico del dominio in questione. Questi sono di gran lunga i lavori ML più comuni e un master è più che sufficiente per questo tipo di lavori. Un numero minore di posti di lavoro, che si trovano nell'ala della ricerca di aziende o università, le istituzioni applicano lavori ML per creare problemi ML per il problema specifico del dominio. L'esperienza di creazione di un nuovo metodo osservando i metodi esistenti utilizzando la nuova matematica richiede in genere del tempo e queste esperienze vengono in genere acquisite durante il dottorato, poiché il nuovo risultato teorico dovrebbe essere sufficientemente robusto per ottenere l'accettazione dei propri pari (una pubblicazione). L'ultimo e probabilmente il tipo di lavoro più difficile, più rischioso e più insolito sono le cose teoriche pure in corso nelle università di ricerca in cui l'obiettivo è quello di elaborare un nuovo algoritmo o comprendere meglio le proprietà matematiche degli algoritmi esistenti (deve anche essere abbastanza buono per essere pubblicato). Anche questa è l'esperienza acquisita in genere come dottorato di ricerca. Mentre uno studente di dottorato potrebbe aver avuto una certa esposizione a tutti e tre i tipi di lavori durante la sua formazione (semplicemente a causa della durata del programma e del fatto che non ci sono scadenze immediate dei prodotti come un vero lavoro), lo studente MS in genere è ben addestrato per il primo lavoro e probabilmente avrebbe avuto solo esposizioni minori al 2o e 3o tipo di lavori.

Non penso che il dottorato sia richiesto per qualsiasi posizione di machine learning. Un buon maestro e una mente curiosa con curiosità matematica è tutto ciò di cui ha bisogno. Un dottorato di ricerca orienta il tuo approccio verso la tua specializzazione che è indesiderabile. Lavoro su algoritmi di machine learning di base e codifico la maggior parte di essi nel modo che desidero. E ho visto un sacco di dottorandi con una mentalità sbagliata. I dottori di ricerca sono per lo più motivati ​​da problemi teorici puri, a differenza del settore in cui l'attenzione è focalizzata sulle soluzioni di lavoro in tempi rapidi

Le persone che guardano giù alla formazione di dottorato o non sanno affatto cosa significhi un dottorato o semplicemente fanno intenzionalmente commenti non veritieri; la maggior parte della formazione dei master non può essere paragonata alla formazione di dottorato in alcun modo. l'intensità e il rigore della formazione in dottorato richiedono dedizione inimmaginabile, autodisciplina, capacità di apprendimento sotto una forte pressione e solidi set di abilità ... livello a tutti ....