Cadere valori anomali basati su "2,5 volte il RMSE"

In Kahneman and Deaton (2010) † , gli autori scrivono quanto segue:$^\dagger$

Questa regressione spiega il 37% della varianza, con un errore quadratico medio radice (RMSE) di 0,67852. Per eliminare i valori anomali e i rapporti sul reddito non plausibili, abbiamo eliminato le osservazioni in cui il valore assoluto della differenza tra il reddito da tronchi e la sua previsione ha superato 2,5 volte il RMSE.

Questa è pratica comune? Qual è l'intuizione dietro a farlo? Sembra in qualche modo strano definire un valore anomalo basato su un modello che potrebbe non essere ben specificato in primo luogo. La determinazione dei valori anomali non dovrebbe essere basata su alcuni motivi teorici per ciò che costituisce un valore plausibile, piuttosto che su quanto bene il tuo modello predice i valori reali?

$\dagger$ : Daniel Kahneman, Angus Deaton (2010): un reddito elevato migliora la valutazione della vita ma non il benessere emotivo. _{^{Atti della National Academy of Sciences set 2010, 107 (38) 16489-16493; DOI: 10.1073 / pnas.1011492107}}

Il motivo per cui questi dati sono stati eliminati è indicato proprio nel preventivo: vale a dire "eliminare i valori anomali e le relazioni sul reddito non plausibili". Il fatto che si riferiscano a entrambe queste cose congiuntamente significa che stanno ammettendo che almeno alcuni dei loro valori anomali non sono valori non plausibili e, in ogni caso, non danno alcuna argomentazione sul perché i valori con un residuo elevato debbano essere considerati "non plausibili "valori di reddito. In questo modo, stanno rimuovendo efficacemente i punti dati perché i residui sono superiori a quanto previsto nel loro modello di regressione. Come ho affermato in un'altra risposta qui , ciò equivale a richiedere la realtà per conformarsi alle assunzioni del modello e ignorare parti della realtà che non sono conformi a tali ipotesi.

Che si tratti o meno di una pratica comune, è una pratica terribile. Si verifica perché i punti di dati periferici sono difficili da gestire e l'analista non è disposto a modellarli correttamente (ad esempio, utilizzando un modello che consente una maggiore curtosi in termini di errore), quindi rimuovono solo parti della realtà che non si conformano alla loro capacità di intraprendere modelli statistici. Questa pratica è statisticamente indesiderabile e porta a inferenze che sottostimano sistematicamente la varianza e la curtosi in termini di errore. Gli autori di questo documento riferiscono di aver perso il 3,22% dei loro dati a causa della rimozione di questi valori anomali (p. 16490). Poiché la maggior parte di questi punti di dati sarebbero stati redditi molto alti, ciò getta sostanziali dubbi sulla loro capacità di trarre solide conclusioni sull'effetto degli alti redditi (che è l'obiettivo del loro documento).