Statistiche e Big Data

1

Termine di varianza nella decomposizione bias-varianza della regressione lineare

In 'Gli elementi di apprendimento statistico', l'espressione di bias-varianza decomposizione lineare modello figura come dove è la funzione target effettiva,Er r ( x0) = σ2ε+ E[ f( x0) - Ef^( x0) ]2+ | | h (x0) | |2σ2ε,Err(X0)=σε2+E[f(X0)-Ef^(X0)]2+||h(X0)||2σε2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f( x0)f(X0)f(x_0)σ2εσε2 \sigma_\epsilon^2 è la varianza dell'errore casuale nel modello e è …

9 regression linear-model bias-variance-tradeoff

1

Scoperti dati ad alta dimensione, correlati e principali caratteristiche / covariate; test di ipotesi multiple?

Ho un set di dati con circa 5.000 funzionalità / covariate spesso correlate e una risposta binaria. I dati mi sono stati forniti, non li ho raccolti. Uso il lazo e l'incremento gradiente per costruire modelli. Uso convalida incrociata nidificata iterata. Riporto i 40 coefficienti (assoluti) più grandi di Lasso …

9 machine-learning multiple-comparisons regression-coefficients lasso high-dimensional

4

È possibile scomporre i residui adattati in bias e varianza, dopo aver inserito un modello lineare?

Vorrei classificare i punti dati come che necessitano di un modello più complesso o che non necessitano di un modello più complesso. Il mio pensiero attuale è di adattare tutti i dati a un semplice modello lineare e osservare la dimensione dei residui per fare questa classificazione. Ho quindi fatto …

9 regression multiple-regression residuals bias-variance-tradeoff

2

Aspettativa di radice quadrata della somma di variabili casuali uniformi al quadrato indipendenti

Sia variabili variabili casuali standard indipendenti e distribuite in modo identico.X1, ... , Xn∼ U( 0 , 1 )X1,...,Xn~U(0,1)X_1,\dots,X_n \sim U(0,1) Permettere Yn= ∑ionX2ioIo cerco: E [ Yn--√]Permettere Yn=ΣionXio2Io cerco: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] L'aspettativa di è semplice:YnYnY_n E [ X2]E [ …

9 probability expected-value uniform central-limit-theorem mgf

1

Qual è l'aspettativa di una variabile casuale divisa per una media ?

Consenti a essere IID e . Sembra ovvio, ma sto avendo problemi a derivarlo formalmente.ˉ X = ∑ n i = 1 X i E [ X iXiXiX_iX¯=∑ni=1XiX¯=∑i=1nXi\bar{X} = \sum_{i=1}^{n} X_iE[ XioX¯] =? E[XiX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability random-variable expected-value

1

Aiuta a interpretare i dati di conteggio GLMM usando lme4 glmer e glmer.nb - Binomio negativo contro Poisson

Ho alcune domande in merito alle specifiche e all'interpretazione dei GLMM. 3 domande sono sicuramente statistiche e 2 sono più specifiche su R. Sto pubblicando qui perché alla fine penso che il problema sia l'interpretazione dei risultati GLMM. Attualmente sto provando a montare un GLMM. Sto usando i dati del …

9 r lme4-nlme poisson-distribution negative-binomial glmm

1

Perché l'intervallo credibile bayesiano in questa regressione polinomiale è distorto mentre l'intervallo di confidenza è corretto?

Considera la trama sotto in cui ho simulato i dati come segue. Osserviamo un risultato binario per il quale la vera probabilità di essere 1 è indicata dalla linea nera. La relazione funzionale tra covariata e è 3 ° polinomio di ordine con il collegamento logistico (in modo che non …

9 regression logistic bayesian confidence-interval credible-interval

1

GAM adattivo leviga in mgcv

Il libro di Simon Wood su GAM e il relativo pacchetto R mgcv sono entrambi dettagliati e informativi quando si tratta di teoria GAM e adattamento del modello a dati reali e simulati. Per i smooth 1D, non c'è davvero molto di cui preoccuparsi, salvo decidere se implementare funzioni di …

9 r mgcv

2

Se voglio avere il 95% di probabilità che meno dell'1% di oggetti sia difettoso, di quanti campioni ho bisogno?

Devo assicurarmi che la mia sitemap XML contenga meno rifiuti (collegamenti interrotti). L'elenco di URL è tra le centinaia di migliaia e, anche se potrebbe essere fattibile testarli tutti 1 per 1, preferirei non farlo, per molte ragioni:1 %1%1\% 1 - Saved bandwidth 2 - Faster traffic for real clients …

9 probability confidence-interval sample-size

2

GAMM con dati zero gonfiati

È possibile montare un GAMM (Generalized Additive Mixed Model) per i dati a zero inflazione in R? In caso contrario, è possibile adattare un GAM (Generalized Additive Model) per dati a zero inflazione con una distribuzione binomiale negativa o quasi Poisson in R? (Ho trovato COZIGAM :: zigam e mgcv: …

9 poisson-distribution negative-binomial gam zero-inflation

2

La maggior parte delle correlazioni pubblicate nelle scienze sociali sono inaffidabili e cosa bisogna fare al riguardo? [chiuso]

Chiuso . Questa domanda è basata sull'opinione . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che possa essere risolta con fatti e citazioni modificando questo post . Chiuso 2 anni fa . Nonostante l'importante ma sbalorditivo sforzo "gotcha" da parte degli individui di …

9 correlation methodology publication-bias

1

Possiamo concludere da che sono indipendenti?

Bene, non possiamo, per esempio, vedere https://en.wikipedia.org/wiki/Subindependence per un interessante controesempio. Ma la vera domanda è: esiste un modo per rafforzare la condizione affinché segua l'indipendenza? Ad esempio, esiste un insieme di funzioni modo che se per tutti seguirà l'indipendenza? E quanto deve essere infinito un tale insieme di funzioni?E …

9 probability mathematical-statistics references random-variable independence

2

Indagare sulle differenze tra le popolazioni

Supponiamo di avere un campione di due popolazioni: Ae B. Supponiamo che queste popolazioni siano composte da individui e scegliamo di descriverli in termini di caratteristiche. Alcune di queste funzioni sono categoriche (ad esempio, guidano per funzionare?) E alcune sono numeriche (ad esempio, la loro altezza). Chiamiamo queste funzionalità: . …

9 anova random-forest cart group-differences

2

Standardizzazione vs. normalizzazione per regressione Lazo / Cresta

Sono consapevole che è prassi comune standardizzare le caratteristiche per la regressione della cresta e del lazo, tuttavia, sarebbe mai più pratico normalizzare le caratteristiche su una scala (0,1) come alternativa alla standardizzazione del punteggio z per questi metodi di regressione?

9 normalization lasso standardization ridge-regression

4

Perché il fatto che 1 mediana sia inferiore a un'altra mediana, significa che la maggior parte nel gruppo 1 è inferiore alla maggior parte nel gruppo 2?

Credevo che i diagrammi a riquadro qui sotto potessero essere interpretati come "la maggior parte degli uomini è più veloce della maggior parte delle donne" (in questo set di dati), principalmente perché il tempo degli uomini mediani era inferiore a quello delle donne mediane. Ma il corso EdX sul quiz …

9 quantiles histogram boxplot eda