Statistiche e Big Data outliers

5

La pulizia dei dati può peggiorare i risultati dell'analisi statistica?

Un aumento del numero di casi e decessi si verifica durante le epidemie (improvviso aumento del numero) a causa di una circolazione del virus (come il virus del Nilo occidentale negli Stati Uniti nel 2002) o una riduzione della resistenza delle persone o della contaminazione di cibo o acqua o …

17 time-series forecasting epidemiology outliers

1

Robusta PCA vs. robusta distanza Mahalanobis per un rilevamento anomalo

La solida PCA (sviluppata da Candes et al 2009 o meglio Netrepalli et al 2014 ) è un metodo popolare per il rilevamento di valori anomali multivariati , ma la distanza di Mahalanobis può anche essere utilizzata per il rilevamento di valori anomali, data una stima solida e regolarizzata della …

17 pca outliers covariance-matrix robust anomaly-detection

2

Come fare previsioni con rilevamento di valori anomali in R? - Procedura e metodo di analisi delle serie storiche

Ho dati mensili sulle serie temporali e vorrei fare previsioni con il rilevamento di valori anomali. Questo è l'esempio del mio set di dati: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 2007 …

16 r time-series forecasting arima outliers

3

Rilevamento anomalo affidabile in periodi finanziari

Sto cercando alcune tecniche robuste per rimuovere valori anomali ed errori (qualunque sia la causa) dai dati finanziari delle serie temporali (ad esempio tickdata). I dati delle serie temporali tick-by-tick sono molto confusi. Contiene enormi lacune (temporali) quando lo scambio è chiuso e fa enormi salti quando lo scambio si …

16 time-series outliers

5

È barare eliminare i valori anomali in base al diagramma a scatole di Errore assoluto medio per migliorare un modello di regressione

Ho un modello di previsione testato con quattro metodi, come puoi vedere nella figura del diagramma a scatole di seguito. L'attributo previsto dal modello è compreso nell'intervallo 0-8. È possibile notare che sono presenti un valore anomalo superiore e tre valori anomali inferiori indicati da tutti i metodi. Mi chiedo …

15 regression machine-learning multiple-regression predictive-models outliers

2

Significato preciso e confronto tra punto influente, punto di leva elevato e valore anomalo?

Da Wikipedia Le osservazioni influenti sono quelle osservazioni che hanno un effetto relativamente grande sulle previsioni del modello di regressione. Da Wikipedia I punti di leva sono quelle eventuali osservazioni fatte a valori estremi o periferici delle variabili indipendenti in modo tale che la mancanza di osservazioni vicine significhi che …

15 regression outliers leverage

2

Stima dei parametri di una distribuzione normale: mediana anziché media?

L'approccio comune per stimare i parametri di una distribuzione normale è quello di utilizzare la media e la deviazione / varianza standard del campione. Tuttavia, se ci sono alcuni valori anomali, la deviazione mediana e mediana dalla mediana dovrebbe essere molto più robusta, giusto? Su alcuni set di dati che …

15 normal-distribution estimation outliers robust unbiased-estimator

3

Corso di crash nella stima media robusta

Ho un sacco (circa 1000) di stime e si suppone che siano tutte stime di elasticità a lungo termine. Poco più della metà di questi viene stimata usando il metodo A e il resto usando un metodo B. Da qualche parte leggo qualcosa del tipo "Penso che il metodo B …

15 mean outliers robust references

3

Comprensione della banda di confidenza da una regressione polinomiale

Sto cercando di capire il risultato che vedo nel mio grafico qui sotto. Di solito, tendo a usare Excel e ottengo una linea di regressione lineare, ma nel caso seguente sto usando R e ottengo una regressione polinomiale con il comando: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() Quindi le mie …

14 r regression data-visualization outliers

5

Esiste un modo semplice per rilevare i valori anomali?

Mi chiedo se esiste un modo semplice per rilevare i valori anomali. Per uno dei miei progetti, che era fondamentalmente una correlazione tra il numero di volte in cui gli intervistati partecipano all'attività fisica in una settimana e il numero di volte in cui mangiano fuori casa (fast food) in …

14 correlation outliers

1

Cadere valori anomali basati su "2,5 volte il RMSE"

In Kahneman and Deaton (2010) † , gli autori scrivono quanto segue:††^\dagger Questa regressione spiega il 37% della varianza, con un errore quadratico medio radice (RMSE) di 0,67852. Per eliminare i valori anomali e i rapporti sul reddito non plausibili, abbiamo eliminato le osservazioni in cui il valore assoluto della …

13 regression outliers

7

Differenza tra anomalia e anomalia

Qual è la differenza tra Outlier e Anomaly nel contesto dell'apprendimento automatico. La mia comprensione è che entrambi si riferiscono alla stessa cosa.

13 outliers terminology anomaly-detection

2

usare le informazioni del vicino per imputare i dati o trovare off-data (in R)

Ho un set di dati con il presupposto che i vicini più vicini siano i migliori predittori. Solo un perfetto esempio di gradiente bidirezionale visualizzato- Supponiamo di avere casi in cui mancano pochi valori, possiamo facilmente prevedere in base ai vicini e alla tendenza. Matrice di dati corrispondente in R …

13 r prediction outliers data-imputation multiple-imputation

1

LARS vs discesa delle coordinate per il lazo

Quali sono i pro e i contro dell'utilizzo di LARS [1] rispetto all'utilizzo della discesa delle coordinate per l'adattamento della regressione lineare regolarizzata L1? Sono principalmente interessato agli aspetti prestazionali (i miei problemi tendono ad avere Ntra le centinaia di migliaia e p<20). Tuttavia, anche altre intuizioni sarebbero apprezzate. modifica: …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

4

Separare due popolazioni dal campione

Sto cercando di separare due gruppi di valori da un singolo set di dati. Posso presumere che una delle popolazioni sia normalmente distribuita e abbia almeno la metà della dimensione del campione. I valori del secondo sono entrambi inferiori o superiori ai valori del primo (la distribuzione è sconosciuta). Quello …

13 dataset outliers expectation-maximization

Domande taggate «outliers»