Statistiche e Big Data robust

14

Perché statistiche solide (e resistenti) non hanno sostituito le tecniche classiche?

Quando si risolvono i problemi aziendali utilizzando i dati, è comune che almeno un'ipotesi chiave secondo cui le statistiche classiche sottostanti non siano valide. Il più delle volte, nessuno si preoccupa di controllare quei presupposti in modo da non saperlo mai. Ad esempio, il fatto che molte delle metriche web …

82 model-selection nonparametric outliers robust philosophical

3

Perché ci preoccupiamo così tanto dei termini di errore normalmente distribuiti (e dell'omoschedasticità) nella regressione lineare quando non è necessario?

Suppongo di sentirmi frustrato ogni volta che sento qualcuno dire che la non normalità dei residui e / o l'eteroschedasticità violano le ipotesi OLS. Per stimare i parametri in un modello OLS nessuna di queste assunzioni è necessaria dal teorema di Gauss-Markov. Vedo come questo conta nei test di ipotesi …

52 regression assumptions normality-assumption robust teaching

4

Regressione lineare rapida robusta per i valori anomali

Ho a che fare con dati lineari con valori anomali, alcuni dei quali sono al massimo le 5 deviazioni standard dalla linea di regressione stimata. Sto cercando una tecnica di regressione lineare che riduca l'influenza di questi punti. Finora quello che ho fatto è stato stimare la linea di regressione …

50 regression linear-model outliers robust fused-lasso

4

Replica dell'opzione "robusta" di Stata in R

Ho cercato di replicare i risultati dell'opzione Stata robustin R. Ho usato il rlmcomando dal pacchetto MASS e anche il comando lmrobdal pacchetto "robustbase". In entrambi i casi i risultati sono abbastanza diversi dall'opzione "robusta" di Stata. Qualcuno può suggerire qualcosa in questo contesto? Ecco i risultati che ho ottenuto …

39 r stata robust robust-standard-error

6

Quale sarebbe un solido modello bayesiano per stimare la scala di una distribuzione approssimativamente normale?

Esistono numerosi stimatori di scala robusti . Un esempio notevole è la deviazione assoluta mediana che si riferisce alla deviazione standard come . In un quadro bayesiano esistono numerosi modi per stimare in modo robusto la posizione di una distribuzione approssimativamente normale (diciamo una Normale contaminata da valori anomali), ad …

32 r bayesian estimation standard-deviation robust

8

Sostituzione dei valori anomali con la media

Questa domanda è stata posta dal mio amico che non è esperto di Internet. Non ho un background statistico e ho cercato su Internet questa domanda. La domanda è: è possibile sostituire i valori anomali con un valore medio? se è possibile, ci sono riferimenti / riviste di libri per …

31 mean outliers robust winsorizing

2

Gli intervalli di confidenza al 50% sono stimati in modo più efficace rispetto agli intervalli di confidenza al 95%?

La mia domanda scaturisce da questo commento su un post sul blog di Andrew Gelman in cui sostiene l'uso di intervalli di confidenza al 50% invece di intervalli di confidenza al 95%, sebbene non sulla base del fatto che sono stimati in modo più robusto: Preferisco intervalli dal 50% al …

30 confidence-interval assumptions robust

2

Perché dovremmo usare t errori invece di normali errori?

In questo post del blog di Andrew Gelman, c'è il seguente passaggio: I modelli bayesiani di 50 anni fa sembrano irrimediabilmente semplici (tranne, ovviamente, per problemi semplici), e mi aspetto che i modelli bayesiani di oggi sembrino irrimediabilmente semplici, a distanza di 50 anni. (Solo per un semplice esempio: dovremmo …

30 distributions bayesian normal-distribution model robust

2

Errore "sistema computazionalmente singolare" quando si esegue un glm

Sto usando il pacchetto robustbase per eseguire una stima glm. Tuttavia quando lo faccio, ottengo il seguente errore: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 Cosa significa / indica? E come posso eseguire il debug? PS. Se hai bisogno di …

29 r generalized-linear-model robust

4

Perché il RANSAC non è più utilizzato nelle statistiche?

Provenendo dal campo della visione artificiale, ho spesso usato il metodo RANSAC (Random Sample Consensus) per adattare i modelli ai dati con molti valori anomali. Tuttavia, non l'ho mai visto usato dagli statistici e ho sempre avuto l'impressione che non fosse considerato un metodo "statisticamente valido". Perchè è così? È …

26 outliers bootstrap robust

5

Quanto è solido il test t dei campioni indipendenti quando le distribuzioni dei campioni non sono normali?

Ho letto che il test t è "ragionevolmente robusto" quando le distribuzioni dei campioni si discostano dalla normalità. Naturalmente, è la distribuzione campionaria delle differenze che sono importanti. Ho dei dati per due gruppi. Uno dei gruppi è fortemente distorto sulla variabile dipendente. La dimensione del campione è piuttosto piccola …

24 t-test assumptions normality-assumption robust

4

Come proiettare un nuovo vettore nello spazio PCA?

Dopo aver eseguito l'analisi dei componenti principali (PCA), voglio proiettare un nuovo vettore nello spazio PCA (ovvero trovare le sue coordinate nel sistema di coordinate PCA). Ho calcolato PCA in linguaggio R utilizzando prcomp. Ora dovrei essere in grado di moltiplicare il mio vettore per la matrice di rotazione PCA. …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

2

Un ponderato in un modello lineare robusto è significativo per la bontà dell'analisi di adattamento?

Ho stimato un modello lineare robusto Rcon pesi MM usando il rlm()pacchetto MASS. `R`` non fornisce un valore per il modello, ma vorrei averne uno se si tratta di una quantità significativa. Sono anche interessato a sapere se c'è qualche significato nell'avere un valore che pesa la varianza totale e …

19 r goodness-of-fit r-squared robust rlm

5

Quali solidi metodi di correlazione sono effettivamente utilizzati?

Ho intenzione di fare uno studio di simulazione in cui metto a confronto le prestazioni di diverse tecniche di correlazione robuste con diverse distribuzioni (inclinate, con valori anomali, ecc.). Con robusto , intendo il caso ideale di essere robusto contro a) distribuzioni distorte, b) valori anomali ec) code pesanti. Insieme …

18 r correlation robust spearman-rho winsorizing

4

Proprietà medie e mediane

Qualcuno può spiegarmi chiaramente la logica matematica che collegherebbe due affermazioni (a) e (b) insieme? Cerchiamo di avere un insieme di valori (parte della distribuzione). Adesso, a) La mediana non dipende da ogni valore [dipende solo da uno o due valori medi]; b) La mediana è il luogo della somma …

18 mean median robust sensitivity-analysis

Domande taggate «robust»