Come gestite le aspettative sul lavoro?

Con tutto il trambusto intorno a Data Science, Machine Learning e tutte le storie di successo in circolazione, ci sono molte aspettative sia giustificate, sia eccessivamente gonfiate, da parte di Data Scientist e dei loro modelli predittivi.

La mia domanda a esperti statistici, esperti di Machine Learning e data scientist è: come gestite le aspettative degli imprenditori nella vostra azienda, in particolare per quanto riguarda l'accuratezza predittiva dei modelli? Per dirla in parole povere, se il tuo modello migliore può raggiungere solo un'accuratezza del 90% e la direzione superiore non si aspetta niente di meno del 99%, come gestisci situazioni come queste?

Gli uomini d'affari razionali non pagano per la precisione, pagano neanche a

• risparmiare denaro su un processo redditizio (rendendolo quindi più redditizio), o da
• creazione di nuovi soldi (creazione di nuovi processi redditizi).

Pertanto, qualsiasi progetto intrapreso deve essere strutturato in termini che riflettano ciò. Il primo passo è sempre capire su quale dei due processi stai lavorando, e dovresti avere una chiara idea di come ciò potrebbe essere ottenuto, tenendo presente che mentre fai progressi i dettagli di come lo fai potrebbero cambiare.

Se riesci a migliorare l'accuratezza di un processo, probabilmente puoi fare soldi per l'azienda e gli uomini d'affari investiranno nei tuoi progressi. L'unica ragione razionale che un uomo d'affari potrebbe avere per insistere sull'accuratezza del 99 percento e rifiutare il 90 percento è se già avevano un modo di farlo che era migliore del 90 percento. In tal caso, sono ovviamente giustificati nella loro posizione.

Comprendere e presentare il caso aziendale dei progetti a cui stai lavorando in termini che gli uomini d'affari comprendono sono parte del processo di maturazione di qualsiasi Ingegnere. Non è affatto unico per Data Science, sebbene Data Science abbia alcuni aspetti unici (come una maturità inferiore ma una maggiore probabilità di scoperta fortuita della serendipità - almeno nell'ambiente di oggi.

Un processo rilevante vicino a Data Science che rende esplicito questo passaggio può essere trovato qui: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Ma la maggior parte dei framework di architettura aziendale sono applicabili in modo simile.

Raccogliere controparti competitive. Prova a determinare uno stato dell'arte e vedi come i tuoi modelli si confrontano con quello. Dipende anche da quanto tempo la tua squadra ci sta lavorando. I modelli scientifici non sono creati staticamente, si sviluppano in modo dinamico perché un buon scienziato cercherà sempre di trovare modi per migliorarlo.

Il personale di gestione superiore dovrebbe sapere che uno scienziato di dati esplora nuovi metodi, a volte / spesso senza conoscerne la qualità. Dovrebbero sapere che le tecniche di apprendimento automatico non producono subito modelli perfetti. Se lo facessero, non sarebbe comunque impegnativo.

Uno scienziato di dati dovrebbe essere valutato da come giustifica e discute i suoi risultati e da come pianifica il futuro. Un modo per il personale di gestione di gestire le loro aspettative è quello di non avere quelli irrealisticamente elevati.

Tuttavia, se si prevedono risultati ragionevoli nel campo del contesto, pensare a queste domande:

1. I risultati sono migliorati nel tempo?
2. Le aspettative future sono positive?
3. Quanto bene sono i risultati rispetto a sistemi simili (dai concorrenti)?

Mi piace questa domanda perché arriva alla politica che esiste in ogni organizzazione. Dal mio punto di vista e in misura significativa, le aspettative in merito alle prestazioni del modello sono in funzione della cultura organizzativa e del grado in cui un'organizzazione è "tecnicamente competente". Un modo per chiarire cosa intendo è considerare le differenze tra le 4 grandi entità della "scienza dei dati" - Google, FB, Amazon e Yahoo - rispetto alle 4 grandi entità che detengono agenzie - WPP, Omnicon, Interbrand e Publicis. Google e altri sono molto tecnicamente competenti. Le agenzie, d'altra parte, sono note per la fobia tecnologica. Qual è la prova per questo? Prima di tutto, il gruppo tecnicamente competente è stato fondato o gestito da ingegneri, informatici, geek e persone con un forte background tecnologico. Chi gestisce le aziende analfabete tecnologiche? I professionisti del marketing che sono diventati famosi in virtù della loro comunicazione morbida e delle abilità delle persone. E non solo, avendo lavorato in alcuni di questi negozi a New York, posso testimoniare che queste organizzazioni puniscono sistematicamente e / o respingono i tipi altamente tecnicamente alfabetizzati come non "adatti" alla cultura. Successivamente, considera le loro capitalizzazioni aggregate (di borsa), il gruppo di esperti di tecnologia aggiunge fino a circa 800 miliardi di dollari, mentre il gruppo analfabeta di tecnologia ammonta a 80 miliardi. Le entità con competenze tecniche sono 10 volte più grandi delle altre nella capitalizzazione di mercato. Questa è una chiara dichiarazione delle aspettative del mercato e non è alta per gli analfabeti. Quindi, per estrapolazione, che tipo di speranza puoi avere per sfidare le aspettative di "accuratezza predittiva" di questo tipo di bozos? avendo lavorato in alcuni di questi negozi a New York, posso testimoniare che queste organizzazioni puniscono sistematicamente e / o respingono i tipi altamente tecnicamente competenti come non "adatti" alla cultura. Successivamente, considerate le loro capitalizzazioni aggregate (di borsa), il gruppo di esperti di tecnologia aggiunge fino a circa 800 miliardi di dollari, mentre il gruppo analfabeta di tecnologia ammonta a 80 miliardi. Le entità con competenze tecniche sono 10 volte più grandi delle altre nella capitalizzazione di mercato. Questa è una chiara dichiarazione delle aspettative del mercato e non è alta per gli analfabeti. Quindi, per estrapolazione, che tipo di speranza puoi avere per sfidare le aspettative di "accuratezza predittiva" di questo tipo di bozos? avendo lavorato in alcuni di questi negozi a New York, posso testimoniare che queste organizzazioni puniscono sistematicamente e / o respingono i tipi altamente tecnicamente competenti come non "adatti" alla cultura. Successivamente, considerate le loro capitalizzazioni aggregate (di borsa), il gruppo di esperti di tecnologia aggiunge fino a circa 800 miliardi di dollari, mentre il gruppo analfabeta di tecnologia ammonta a 80 miliardi. Le entità con competenze tecniche sono 10 volte più grandi delle altre nella capitalizzazione di mercato. Questa è una chiara dichiarazione delle aspettative del mercato e non è alta per gli analfabeti. Quindi, per estrapolazione, che tipo di speranza puoi avere per sfidare le aspettative di "accuratezza predittiva" di questo tipo di bozos? considerare le loro capitalizzazioni aggregate (di borsa), il gruppo di esperti di tecnologia aggiunge fino a circa 800 miliardi di dollari, mentre il gruppo analfabeta di tecnologia ammonta a 80 miliardi. Le entità con competenze tecniche sono 10 volte più grandi delle altre nella capitalizzazione di mercato. Questa è una chiara dichiarazione delle aspettative del mercato e non è alta per gli analfabeti. Quindi, per estrapolazione, che tipo di speranza puoi avere per sfidare le aspettative di "accuratezza predittiva" di questo tipo di bozos? considerare le loro capitalizzazioni aggregate (di borsa), il gruppo di esperti di tecnologia aggiunge fino a circa 800 miliardi di dollari, mentre il gruppo analfabeta di tecnologia ammonta a 80 miliardi. Le entità con competenze tecniche sono 10 volte più grandi delle altre nella capitalizzazione di mercato. Questa è una chiara dichiarazione delle aspettative del mercato e non è alta per gli analfabeti. Quindi, per estrapolazione, che tipo di speranza puoi avere per sfidare le aspettative di "accuratezza predittiva" di questo tipo di bozos?

Quindi, dato quel breakout culturale e in base a dove cadi, dovresti avere aspettative più o meno realistiche. Ovviamente, diverse entità "analfabete tecnologiche" avranno manager che sanno cosa stanno facendo, ma per la maggior parte, queste entità sono dominate dall'idiozia del minimo comune denominatore nelle competenze tecnologiche, cioè persone che sono al meglio tecniche semi-letterati (e pericolosi) o, più comunemente, totalmente innumerati ma non lo sanno. Caso in questione, ho lavorato per un ragazzo che voleva parole come "correlazione" cancellate dai deck c-suite. Questo è un caso estremo: dopo tutto, ogni segretario sa cos'è una "correlazione".

Ciò solleva il problema di come si affronta l'ingenuità ingenua e innumerevole quando si pongono una domanda davvero stupida come "Perché non si ottiene una precisione predittiva del 99%?" Una buona risposta è rispondere con una domanda del tipo: "Perché dovresti presumere che un PA così irrealisticamente elevato sia persino possibile?" Un altro potrebbe essere: "Perché se avessi effettivamente il 99% di PA, avrei pensato che stavo facendo qualcosa di sbagliato". Che è altamente probabile che sia vero, anche con il 90% di PA.

C'è la domanda più fondamentale dell'insistenza sull'AP come unico criterio per il valore del modello. Il compianto Leo Breiman ha lasciato molte impronte sulla comunità di modelli statistici e predittivi di cui PA è una. La sua principale preoccupazione con la PA era quella di rispondere alle molte critiche avanzate negli anni '90 riguardo all'instabilità e all'errore insiti nell'esecuzione di un singolo albero CART. La sua soluzione era quella di motivare le "foreste casuali" come metodo approssimativo e provvisorio che massimizzasse l'accuratezza e ridurrebbe l'instabilità eliminando la struttura ad albero. Ha confrontato il MSE inferiore da ~ 1.000 "mini-modelli" RF iterativi rispetto all'errore di un singolo modello di regressione logistica. L'unico problema era che non si era mai preso la briga di menzionare il paragone tra mele e arance:

Il Premio Netflix del 2008 ha offerto una considerevole ricompensa in denaro a qualsiasi statistico o team in grado di migliorare l'MSE del loro sistema di raccomandazione. All'epoca Netflix spendeva 150 milioni di dollari all'anno su questo sistema, convinto che i costi fossero più che recuperati nella fidelizzazione dei clienti e nell'acquisto di film che altrimenti non sarebbero mai stati scelti. Gli eventuali vincitori hanno utilizzato un complesso complesso di 107 modelli diversi.

Tuttavia, come ha appreso Netflix, il vero problema era che, dal punto di vista dei costi a pieno carico, l'effettivo miglioramento dell'errore rispetto al loro modello attuale era una semplice riduzione dello 0,005% nelle valutazioni a 5 punti. Per non parlare del fatto che i costi IT nel tempo, il sollevamento di carichi pesanti e la manutenzione dell'ensemble vincente di 107 modelli hanno più che annullato qualsiasi vantaggio derivante dalla riduzione degli errori. Detto questo, Netflix alla fine ha abbandonato il perseguimento di MSE e non sono stati assegnati altri premi Netflix

E questo è il punto: ridurre al minimo l'errore predittivo può essere facilmente giocato o p-hackerato ed è incline alla frode dell'analista (vale a dire, trovare una soluzione che esalta le capacità di modellazione dell'analista, incidendo positivamente sul suo potenziale bonus di fine anno). Inoltre, è una soluzione e un obiettivo completamente statistici stabiliti in un vuoto economico e commerciale. La metrica fornisce poca o nessuna considerazione dei costi collaterali e accessori - le reali conseguenze operative valutate dalla A alla Z che dovrebbero essere parte integrante di qualsiasi processo decisionale a pieno carico e basato su trade-off.

Questo è diventato uno di quei problemi che è incorporato nelle organizzazioni ed è molto, molto difficile da cambiare. In altre parole, sono pienamente consapevole del fatto che mi sto inclinando verso i mulini a vento con questo rantolo delle avvertenze con l'uso della PA.