È corretto rimuovere valori anomali dai dati?

Ho cercato un modo per rimuovere valori anomali da un set di dati e ho trovato questa domanda .

In alcuni dei commenti e delle risposte a questa domanda, tuttavia, le persone hanno affermato che è una cattiva pratica rimuovere i valori anomali dai dati.

Nel mio set di dati ho diversi valori anomali che molto probabilmente sono dovuti solo a errori di misurazione. Anche se alcuni di loro non lo sono, non ho modo di controllarlo caso per caso, perché ci sono troppi punti dati. È statisticamente valido oltre a rimuovere i valori anomali? O, in caso contrario, quale potrebbe essere un'altra soluzione?

Se lascio solo quei punti lì, influenzano ad esempio la media in un modo che non riflette la realtà (perché la maggior parte di essi è comunque un errore).

EDIT: sto lavorando con i dati di conduttanza della pelle. La maggior parte dei valori estremi sono dovuti a artefatti come qualcuno che tira i fili.

EDIT2: Il mio interesse principale nell'analisi dei dati è determinare se esiste una differenza tra due gruppi

Non raccomando di escludere eventuali valori anomali nell'analisi principale (a meno che tu non sia veramente positivo, si sbagliano). Tuttavia, è possibile farlo in un'analisi di sensibilità e confrontare i risultati delle due analisi. Nella scienza, spesso scopri nuove cose proprio quando ti concentri su tali valori anomali.

Per approfondire, basti pensare alla scoperta fondamentale della penicillina da parte di Fleming, basata sulla contaminazione accidentale dei suoi esperimenti con uno stampo:

http://www.abpischools.org.uk/page/modules/infectiousdiseases_timeline/timeline6.cfm?coSiteNavigation_allTopic=1

Guardando al passato o al presente, il rilevamento anomalo viene spesso utilizzato per guidare l'innovazione nelle scienze biomediche. Vedi ad esempio i seguenti articoli (con alcuni codici R adatti):

http://www.la-press.com/a-comparison-of-methods-for-data-driven-cancer-outlier-discovery-and-a-article-a2599-abstract?article_id=2599

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3394880/

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0102678

Infine, se hai ragionevoli motivi per escludere alcuni dati, puoi farlo, preferibilmente in un'analisi di sensibilità, e non in quella primaria. Ad esempio, è possibile escludere tutti i valori che non sono biologicamente plausibili (come una temperatura di 48 gradi Celsius in un paziente settico). Allo stesso modo, è possibile escludere tutte le misurazioni prima e ultima per ogni dato paziente, per ridurre al minimo gli artefatti da movimento. Si noti tuttavia che se si esegue questa operazione post-hoc (non sulla base di criteri predefiniti), questo rischia di costituire un massaggio dei dati.

Un'opzione è quella di escludere i valori anomali, ma IMHO è qualcosa che dovresti fare solo se puoi argomentare (con quasi certezza) perché tali punti non sono validi (ad esempio le apparecchiature di misurazione si sono rotte, il metodo di misurazione era inaffidabile per qualche motivo, ...). Ad esempio nelle misurazioni del dominio della frequenza, la DC viene spesso scartata poiché molti termini diversi contribuiscono alla DC, abbastanza spesso non correlata al fenomeno che si sta tentando di osservare.

Il problema con la rimozione di valori anomali è che per determinare quali punti sono valori anomali, è necessario disporre di un buon modello di ciò che è o non è "buono dato". Se non sei sicuro del modello (quali fattori dovrebbero essere inclusi, quale struttura ha il modello, quali sono le ipotesi del rumore, ...), allora non puoi essere sicuro dei tuoi valori anomali. Quei valori anomali potrebbero essere solo dei campioni che stanno cercando di dirti che il tuo modello è sbagliato. In altre parole: la rimozione degli outlier rafforzerà il tuo modello (errato!), Invece di permetterti di ottenere nuove intuizioni!

Un'altra opzione è utilizzare statistiche affidabili. Ad esempio, la media e la deviazione standard sono sensibili ai valori anomali, altre metriche di "posizione" e "diffusione" sono più robuste. Ad esempio invece della media, utilizzare la mediana. Invece della deviazione standard, utilizzare l'intervallo tra quartili. Invece della regressione dei minimi quadrati standard, è possibile utilizzare una regressione robusta. Tutti questi metodi solidi sottolineano in qualche modo i valori anomali, ma in genere non rimuovono completamente i dati anomali (vale a dire una cosa positiva).

Ho pensato di aggiungere un ammonimento sulla rimozione dei valori anomali:

Ricordi il problema con il buco nello strato di ozono polare? C'era un satellite che era stato messo in orbita sopra il palo appositamente per misurare la concentrazione di ozono. Per alcuni anni i dati postelaborati dal satellite riferivano che l'ozono polare era presente a livelli normali, anche se altre fonti mostravano chiaramente che mancava l'ozono. Alla fine qualcuno tornò a controllare il software satellitare. Si è scoperto che qualcuno aveva scritto il codice per verificare se la misurazione grezza rientrava in un intervallo atteso rispetto al livello storico tipico e per supporre che qualsiasi misurazione al di fuori dell'intervallo fosse solo un "picco" dello strumento (cioè un valore anomalo), auto- correggendo il valore . Fortunatamente avevano anche registrato le misure grezze; controllandoli, videro che il buco era stato segnalato da sempre.

'Outlier' è un termine conveniente per raccogliere dati che non si adatta a come ti aspetti che il tuo processo assomigli, al fine di rimuovere dall'analisi.

Suggerirei mai (avvertimento più tardi) di rimuovere gli outlier. Il mio background è il controllo statistico del processo, quindi spesso mi occupo di grandi volumi di dati di serie temporali generati automaticamente che vengono elaborati utilizzando un diagramma di marcia / diagramma a scatole mobili / ecc. A seconda dei dati e della distribuzione.

La cosa con gli outlier è che forniranno sempre informazioni sul tuo "processo". Spesso quello che stai pensando come un processo è in realtà molti processi ed è molto più complesso di quanto tu gli dia credito.

Usando l'esempio nella tua domanda, suggerirei che potrebbero esserci un certo numero di "processi". ci saranno variazioni dovute a ...

• campioni prelevati da un dispositivo di conduttanza
• campioni prelevati tra dispositivi di conduttanza
• quando il soggetto ha rimosso una sonda
• quando il soggetto si muoveva
• differenze all'interno della pelle di un soggetto attraverso il proprio corpo o tra diversi giorni di campionamento (capelli, umidità, olio, ecc.)
• differenze tra soggetti
• la formazione della persona che prende le misure e le variazioni tra il personale

Tutti questi processi produrranno ulteriori variazioni nei dati e probabilmente sposteranno la media e cambieranno la forma della distribuzione. Molti di questi non saranno in grado di separarsi in processi distinti.

Quindi, andando all'idea di rimuovere i punti dati come "valori anomali" ... Rimuoverei solo i punti dati, quando posso sicuramente attribuirli a un particolare "processo" che non voglio includere nella mia analisi. È quindi necessario assicurarsi che i motivi della non inclusione siano registrati come parte dell'analisi, quindi è ovvio. Non dare per scontato l'attribuzione, questa è la chiave per prendere appunti extra attraverso l'osservazione durante la tua raccolta di dati.

Sfiderei la tua affermazione "perché la maggior parte di essi è comunque un errore", in quanto non sono errori, ma solo parte di un processo diverso che hai identificato nelle tue misurazioni come diverso.

Nel tuo esempio, penso che sia ragionevole escludere punti dati che puoi attribuire a un processo separato che non desideri analizzare.

Se stai rimuovendo i valori anomali, nella maggior parte dei casi devi documentare che lo stai facendo e perché. Se questo è per un documento scientifico o per scopi regolamentari, ciò potrebbe comportare l'attualizzazione e / o il rifiuto delle statistiche finali.

La soluzione migliore è identificare quando pensi di ricevere dati errati (ad esempio quando le persone tirano i fili), quindi identificare quando le persone tirano i fili e tirare i dati per quel motivo. Ciò comporterà probabilmente anche la caduta di alcuni punti dati "buoni", ma ora hai un motivo "reale" per taggare e scartare quei punti dati alla fine della raccolta piuttosto che alla fine dell'analisi. Fintanto che lo fai in modo pulito e trasparente, è molto più probabile che sia accettabile per terze parti. Se rimuovi i punti dati relativi ai fili tirati e ottieni ancora valori anomali, la probabile conclusione è che i fili tirati non sono il (solo) problema - l'ulteriore problema potrebbe essere con la progettazione del tuo esperimento o la tua teoria.

Uno dei primi esperimenti che mia madre fece quando tornò all'università per terminare la sua laurea era uno in cui agli studenti veniva data una "cattiva" teoria su come funzionava un processo, e poi gli veniva detto di eseguire un esperimento. Gli studenti che hanno eliminato o modificato i punti di dati "errati" risultanti hanno fallito il compito. Coloro che hanno correttamente riferito che i loro dati erano in disaccordo con i risultati previsti dalla (cattiva) teoria, sono passati. Il punto del compito era insegnare agli studenti a non "correggere" (falsificare) i loro dati quando non era quello che ci si aspettava.

Riepilogo: se stai generando dati errati, correggi l'esperimento, non i dati.

È sicuramente un dilemma morale. Da un lato, perché dovresti lasciare che alcuni punti di dati sospetti rovinino l'adattamento del tuo modello alla maggior parte dei dati? D'altra parte, eliminare osservazioni che non concordano con il concetto di realtà del modello è una sorta di censura. Al punto @ Egon, quegli outlier potrebbero provare a raccontarti qualcosa su quella realtà.

In una presentazione dello statistico Steve MacEachern, ha definito i valori anomali come "[non rappresentativo del fenomeno in studio.]" Sotto quel punto di vista, se ritieni che questi punti di dati sospetti non siano rappresentativi del fenomeno della conduttanza cutanea che stai cercando di studiare , forse non appartengono all'analisi. O se è permesso loro di rimanere, dovrebbe essere usato un metodo che limiti la loro influenza. In quella stessa presentazione MacEachern ha fornito esempi di metodi robusti, e ricordo che, in quei pochi esempi, i metodi classici con i valori anomali rimossi erano sempre d'accordo con le analisi robuste con i valori erratici ancora inclusi. Personalmente, tendo a lavorare con le tecniche classiche con cui mi sento più a mio agio e convivo con l'incertezza morale della cancellazione anomala.

Se conduco un campione casuale di 100 persone, e una di quelle persone è Bill Gates, allora per quanto ne so, Bill Gates è rappresentativo di 1/100 della popolazione.

Una media ridotta mi dice che i guadagni medi della lotteria sono $ 0.

Ovviamente dovresti rimuovere gli outlier, poiché per definizione non seguono la distribuzione sotto esame e sono un fenomeno parassitario.

La vera domanda è "come posso rilevare in modo affidabile i valori anomali"!