Statistiche e Big Data robust

1

Ho due gruppi di soggetti, A e B, ciascuno con una dimensione di circa 400 e circa 300 predittori. Il mio obiettivo è costruire un modello di previsione per una variabile di risposta binaria. Il mio cliente vuole vedere il risultato dell'applicazione del modello costruito da A su B. (Nel …

17 pca logistic predictive-models robust

4

T-test robusto per media

Sto provando a testare la null , rispetto all'alternativa locale E [ X ] > 0 , per una variabile casuale X , soggetta ad inclinazione da lieve a media e curtosi della variabile casuale. Seguendo i suggerimenti di Wilcox in "Introduzione alla stima robusta e al test di ipotesi", …

17 hypothesis-testing t-test finance robust

1

Robusta PCA vs. robusta distanza Mahalanobis per un rilevamento anomalo

La solida PCA (sviluppata da Candes et al 2009 o meglio Netrepalli et al 2014 ) è un metodo popolare per il rilevamento di valori anomali multivariati , ma la distanza di Mahalanobis può anche essere utilizzata per il rilevamento di valori anomali, data una stima solida e regolarizzata della …

17 pca outliers covariance-matrix robust anomaly-detection

3

Distribuzione t di raccordo in R: parametro di ridimensionamento

Come posso adattare i parametri di una distribuzione t, cioè i parametri corrispondenti alla "media" e alla "deviazione standard" di una distribuzione normale. Presumo che siano chiamati "media" e "ridimensionamento / gradi di libertà" per una distribuzione t? Il codice seguente spesso genera errori di "ottimizzazione non riuscita". library(MASS) fitdistr(x, …

17 r distributions maximum-likelihood fitting robust

1

Definizione e convergenza dei minimi quadrati ripetuti iterativamente

Ho usato i minimi quadrati reiterati (IRLS) per ridurre al minimo le funzioni del seguente modulo, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) dove è il numero di istanze di , è la stima attendibile che desidero e è una funzione di penalità robusta adatta. Diciamo che è …

16 estimation least-squares robust irls

2

Stima dei parametri di una distribuzione normale: mediana anziché media?

L'approccio comune per stimare i parametri di una distribuzione normale è quello di utilizzare la media e la deviazione / varianza standard del campione. Tuttavia, se ci sono alcuni valori anomali, la deviazione mediana e mediana dalla mediana dovrebbe essere molto più robusta, giusto? Su alcuni set di dati che …

15 normal-distribution estimation outliers robust unbiased-estimator

1

Perché le stime del coefficiente di regressione rlm () sono diverse da lm () in R?

Sto usando rlm nel pacchetto R MASS per regredire un modello lineare multivariato. Funziona bene per un numero di campioni ma sto ottenendo coefficienti quasi nulli per un modello particolare: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = …

15 r multiple-regression robust

3

Corso di crash nella stima media robusta

Ho un sacco (circa 1000) di stime e si suppone che siano tutte stime di elasticità a lungo termine. Poco più della metà di questi viene stimata usando il metodo A e il resto usando un metodo B. Da qualche parte leggo qualcosa del tipo "Penso che il metodo B …

15 mean outliers robust references

2

Che cos'è un solido test statistico? Che cos'è un potente test statistico?

Alcuni test statistici sono robusti e altri no. Cosa significa esattamente robustezza? Sorprendentemente, non sono riuscito a trovare una domanda del genere su questo sito. Inoltre, a volte, la robustezza e la potenza di un test vengono discusse insieme. E intuitivamente, non sono riuscito a distinguere tra i due concetti. …

14 statistical-significance power robust

3

I modelli CART possono essere resi robusti?

Un collega nel mio ufficio mi ha detto oggi "I modelli di alberi non sono buoni perché vengono catturati da osservazioni estreme". Una ricerca qui ha portato a questa discussione che sostanzialmente supporta l'affermazione. Il che mi porta alla domanda: in quale situazione un modello CART può essere robusto e …

14 regression classification robust cart

3

Come calcolare lo stimatore in scala Qn di Rousseeuw e Croux '(1993) per campioni di grandi dimensioni?

Sia Qn=Cn.{|Xi−Xj|;i<j}(k)Qn=Cn.{|Xi−Xj|;i<j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)} quindi per un campione molto breve come {1,3,6,2,7,5}{1,3,6,2,7,5}\{1,3,6,2,7,5\} può essere calcolato trovando il kkk ° ordine statico delle differenze a coppie: 7 6 5 3 2 1 1 6 5 4 2 1 2 5 4 3 1 3 4 3 2 5 2 …

13 data-transformation scales robust optimal-scaling

4

Buona forma per rimuovere gli outlier?

Sto lavorando su statistiche per build di software. Ho i dati per ogni build su pass / fail e tempo trascorso e ne generiamo ~ 200 di questi / settimana. Il tasso di successo è facile da aggregare, posso dire che il 45% ha superato una determinata settimana. Ma vorrei …

12 outliers robust average

1

Perché non una solida regressione ogni volta?

Esempi di questa pagina mostrano che la semplice regressione è notevolmente influenzata dai valori erratici e questo può essere superato con tecniche di regressione robusta: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Credo che lmrob e ltsReg siano altre solide tecniche di regressione. Perché non si dovrebbe fare una regressione solida (come rlm o rq) …

12 regression multiple-regression robust

1

Stima robusta della curtosi?

Sto usando il consueto stimatore per la , ma mi accorgo che anche piccole 'valori anomali' nella mia distribuzione empirica, cioè piccoli picchi lontano dal centro, incidono su di esso tremendamente. Esiste uno stimatore della curtosi che è più robusto?K^= μ^4σ^4K^=μ^4σ^4\hat{K}=\frac{\hat{\mu}_4}{\hat{\sigma}^4}

11 outliers robust moments kurtosis

2

Robusta vestibilità gaussiana multivariata in R

Devo adattare una distribuzione gaussiana generalizzata a una nuvola di punti 7-dim contenente un numero piuttosto significativo di valori anomali con leva elevata. Conosci qualche buon pacchetto R per questo lavoro?

11 r distributions normal-distribution robust

Domande taggate «robust»