Fare statistiche corrette in un ambiente di lavoro?

Non sono sicuro di dove appartenga questa domanda: Cross Validated o The Workplace. Ma la mia domanda è vagamente correlata alle statistiche.

Questa domanda (o immagino domande) è nata durante il mio lavoro come "stagista di scienza dei dati". Stavo costruendo questo modello di regressione lineare ed esaminando la trama residua. Ho visto un chiaro segno di eteroschedasticità. Ricordo che l'eteroschedasticità distorce molte statistiche di test come l'intervallo di confidenza e il test t. Quindi ho usato il quadrato meno ponderato, seguendo quello che ho imparato al college. Il mio manager lo vide e mi consigliò di non farlo perché "stavo rendendo le cose complicate", il che non era affatto una ragione molto convincente per me.

Un altro esempio potrebbe essere "la rimozione di una variabile esplicativa poiché il suo valore p è insignificante". Ad essere, questo consiglio non ha senso da un punto di vista logico. Secondo quanto ho appreso, un valore p insignificante potrebbe essere dovuto a diversi motivi: possibilità, uso del modello sbagliato, violazione delle ipotesi, ecc.

Un altro esempio è che ho usato la validazione incrociata di k-fold per valutare il mio modello. Secondo il risultato, è semplicemente migliore di . Ma abbiamo un inferiore per il modello 1 e la ragione ha qualcosa a che fare con l'intercetta . Il mio supervisore, tuttavia, sembra preferire il modello 2 perché ha più alto . Le sue ragioni (come è solida, o la convalida incrociata è l'approccio all'apprendimento automatico, non l'approccio statistico) non sembrano essere abbastanza convincenti da cambiare idea. C V m o d e l 2 R 2 R 2 R $CV_{model 1}$$CV_{model 2}$$R^2$$R^2$$R^2$

Come qualcuno che si è appena laureato, sono molto confuso. Sono molto appassionato di applicare statistiche corrette per risolvere i problemi del mondo reale, ma non so quale delle seguenti affermazioni sia vera:

1. Le statistiche che ho imparato da solo sono sbagliate, quindi sto solo facendo errori.
2. C'è un'enorme differenza tra le statistiche teoriche e i modelli di costruzione nelle aziende. E sebbene la teoria della statistica sia corretta, la gente non la segue.
3. Il gestore non sta usando correttamente le statistiche.

Aggiornamento al 17/04/2017: ho deciso di perseguire un dottorato di ricerca. nelle statistiche. Grazie a tutti per la risposta.

In poche parole, hai ragione e lui ha torto. La tragedia dell'analisi dei dati è che molte persone lo fanno, ma solo una minoranza di persone lo fa bene, in parte a causa di una scarsa istruzione nell'analisi dei dati e in parte a causa dell'apatia. Dai un'occhiata critica alla maggior parte degli articoli di ricerca pubblicati che non hanno uno statistico o un esperto di apprendimento automatico nell'elenco degli autori e noterai rapidamente errori elementari come l'interpretazione di valori come la probabilità che l'ipotesi nulla sia vera .$p$

Penso che l'unica cosa da fare, di fronte a questo tipo di situazione, sia di spiegare attentamente cosa non va nella pratica della testa sbagliata, con un esempio o due.

Kodiologist ha ragione: hai ragione, ha torto. Tuttavia purtroppo questo è un problema posto ancora più comune di quello che stai incontrando. In realtà sei in un settore che sta andando relativamente bene.

$mean + 3*\sigma$

Ora, a parte il fatto che questo intervallo di confidenza non sta dicendo loro ciò di cui hanno effettivamente bisogno (hanno bisogno di un intervallo di tolleranza per quello), questo viene fatto alla cieca su parametri che si aggirano vicino ad un valore massimo o minimo (ma dove l'intervallo ha vinto ' effettivamente superare questi valori). Poiché Excel calcolerà ciò di cui hanno bisogno (sì, ho detto Excel), impostano le loro specifiche in base a ciò, nonostante il parametro non sarà quasi ovunque distribuito normalmente. A queste persone sono state insegnate statistiche di base, ma non trame qq o simili. Uno dei maggiori problemi è che le statistiche ti daranno un numero, anche se usato in modo inappropriato, quindi la maggior parte delle persone non sa quando lo ha fatto.

In altre parole, le specifiche sulla stragrande maggioranza dei prodotti, nella stragrande maggioranza delle industrie, sono senza senso.

Uno dei peggiori esempi che ho di persone che seguono ciecamente le statistiche, senza capire, è l'uso di Cpk nell'industria automobilistica. Un'azienda ha trascorso circa un anno a discutere di un prodotto con il proprio fornitore, poiché riteneva che il fornitore potesse controllare il proprio prodotto a un livello semplicemente impossibile. Stavano impostando solo una specifica massima (nessun minimo) su un parametro e hanno usato Cpk per giustificare la loro richiesta - fino a quando non è stato sottolineato che i loro calcoli (quando usati per impostare un livello minimo teorico) non volevano che non avessero controllato ) implicava un enorme valore negativo. Questo, su un parametro che non potrebbe mai andare inferiore a 0. Cpk presuppone normale, il processo non ha fornito dati vicino ai normali. Ci è voluto molto tempo prima che questo affondasse. Tutto ciò ha sprecato tempo e denaro perché la gente non capisco cosa stessero calcolando - e avrebbe potuto essere molto peggio se non fosse stato notato. Questo potrebbe essere un fattore che contribuisce al motivo per cui ci sono richiami regolari nel settore automobilistico!

Io stesso vengo da un background scientifico e, francamente, l'insegnamento delle statistiche in scienze e ingegneria è sorprendentemente insufficiente. Non avevo mai sentito parlare della maggior parte di ciò che ho bisogno di usare ora - è stato tutto autodidatta e ci sono (rispetto a un vero statistico) enormi lacune nelle mie conoscenze anche ora. Per questo motivo, non elogio le persone che fanno un uso improprio delle statistiche (probabilmente lo faccio ancora regolarmente), è scarsa istruzione.

Quindi, tornando alla tua domanda originale, non è davvero facile. Concordo con la raccomandazione di Kodiologist di provare a spiegare delicatamente queste cose in modo da utilizzare le statistiche giuste. Ma aggiungerei un avvertimento in più a questo e ti consiglio anche di scegliere saggiamente le tue battaglie, per il bene della tua carriera.

È un peccato, ma è un dato di fatto che non sarai in grado di convincere tutti a fare le migliori statistiche ogni volta. Scegli di correggerli quando è veramente importante per la conclusione finale finale (che a volte significa fare le cose in due modi diversi per verificare). Ci sono momenti (ad esempio il tuo esempio di modello 1,2) in cui l'uso del modo "sbagliato" potrebbe portare alle stesse conclusioni. Evita di correggere troppe persone troppo frequentemente.

So che è intellettualmente frustrante e il mondo dovrebbe funzionare in modo diverso - purtroppo non lo fa. In una certa misura dovrai imparare a giudicare le tue battaglie in base alle personalità individuali dei tuoi colleghi. Il tuo obiettivo (di carriera) è di essere l'esperto a cui vanno quando hanno davvero bisogno di aiuto, non la persona esigente che cerca sempre di correggerli. E, infatti, se diventi quella persona, è probabilmente lì che avrai il maggior successo nel far sì che le persone ascoltino e facciano le cose nel modo giusto. In bocca al lupo.

Ciò che viene descritto sembra un'esperienza piuttosto negativa. Tuttavia non dovrebbe essere qualcosa che induce a mettere immediatamente in discussione il proprio background educativo né il giudizio statistico del proprio supervisore / manager.

$R^2$il lavoro, piuttosto che il comportamento asintotico da qualche parte in futuro, non significa molto. Le persone saranno riluttanti ad accettarlo; perché spendere energia per cambiare quando tutto funziona (in qualche modo)? Il tuo manager non è necessariamente sbagliato dal punto di vista aziendale. È responsabile delle decisioni statistiche e commerciali del vostro dipartimento; tali decisioni non coincidono necessariamente sempre e molto probabilmente non coincidono con risultati a breve termine (i vincoli temporali sono un fattore molto importante nell'analisi dei dati del settore).

Il mio consiglio è di attenersi alle tue pistole (statistiche) ma di essere aperto a ciò che fanno le persone, di essere paziente con le persone che potrebbero staccarsi dalle nuove pratiche statistiche e di offrire consigli / opinioni quando richiesto , far crescere una pelle più spessa e imparare dal proprio ambiente. Se stai facendo le cose giuste, questo mostrerà lentamente, le persone vorranno la tua opinione perché riconosceranno che puoi offrire soluzioni dove il loro flusso di lavoro attuale non lo fa. Infine, sì certo, se dopo un ragionevole periodo di tempo (almeno un paio di mesi) senti di essere svalutato e mancato di rispetto, vai avanti.

Inutile dire che ora sei nel settore non puoi rilassarti e pensare di non aver bisogno di affinare la tua formazione in Statistica. Modellazione predittiva, strategie di regressione, algoritmi di clustering continuano a evolversi. Ad esempio, l'utilizzo della regressione dei processi gaussiani in un ambiente industriale era vicino alla fantascienza 10 anni fa; ora può vedere quasi come una cosa pronta da provare.