Statistiche e Big Data

2

Distribuzione della convoluzione delle variabili quadrate normali e chi-quadrate?

il seguente problema è emerso di recente durante l'analisi dei dati. Se la variabile casuale X segue una distribuzione normale e Y segue una distribuzione (con n dof), come viene distribuito Z = X 2 + Y 2 ? Fino ad ora ho inventato il pdf di Y 2 : …

14 probability distributions normal-distribution chi-squared convolution

1

Verifica la differenza tra 2 distribuzioni empiriche discrete

Ho dati di test in cui ho diversi campioni di grandi dimensioni da distribuzioni discrete che sto usando come distribuzioni empiriche. Voglio verificare se le distribuzioni sono effettivamente diverse e quale sia la differenza nei mezzi per quelle distribuzioni che sono effettivamente diverse. Dato che sono distribuzioni discrete, la mia …

14 chi-squared kolmogorov-smirnov

4

Prova l'equivalenza delle seguenti due formule per la correlazione di Spearman

Da Wikipedia , la correlazione di rango di Spearman viene calcolata convertendo le variabili e in variabili classificate e e quindi calcolando la correlazione di Pearson tra le variabili classificate:Y i x i y iXiXiX_iYiYiY_ixixix_iyiyiy_i Tuttavia, l'articolo continua affermando che se non ci sono legami tra le variabili e , …

14 correlation proof spearman-rho

1

Si può raccomandare il libro di Burnham-Anderson sull'inferenza del modello multiplo?

Come motivato dal recente cambiamento della statistica di selezione del modello predefinito nel pacchetto di previsione di R da AIC ad AICc, sono curioso di sapere se quest'ultimo sia effettivamente applicabile ovunque sia il primo. Ho una serie di domande al riguardo ed ecco la prima. So che sostituire AIC …

14 model-selection references aic

3

Stima n nel problema del collezionista di coupon

In una variazione del problema del collezionista di coupon , non si conosce il numero di coupon e questo deve essere determinato in base ai dati. Mi riferirò a questo come al problema dei biscotti della fortuna: Dato un numero sconosciuto di distinti messaggi di cookie di fortuna nnn , …

14 estimation coupon-collector-problem

1

Test del rapporto di verosimiglianza - lmer R - Modelli non nidificati

Attualmente sto esaminando alcuni lavori e ho riscontrato quanto segue, il che mi sembra sbagliato. Due modelli misti sono montati (in R) usando lmer. I modelli non sono nidificati e vengono confrontati mediante test del rapporto di verosimiglianza. In breve, ecco un esempio riproducibile di ciò che ho: set.seed(105) Resp …

14 r lme4-nlme likelihood-ratio nested-models

3

Ponderazione dei dati più recenti nel modello Foresta casuale

Sto addestrando un modello di classificazione con Random Forest per discriminare tra 6 categorie. I miei dati transazionali hanno circa 60k + osservazioni e 35 variabili. Ecco un esempio di come appare approssimativamente. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | …

14 r machine-learning classification random-forest

4

Dal punto di vista della probabilità bayesiana, perché un intervallo di confidenza al 95% non contiene il parametro vero con una probabilità del 95%?

Dalla pagina di Wikipedia sugli intervalli di confidenza : ... se gli intervalli di confidenza sono costruiti attraverso molte analisi dei dati separate di esperimenti ripetuti (e possibilmente diversi), la proporzione di tali intervalli che contengono il valore reale del parametro corrisponderà al livello di confidenza ... E dalla stessa …

14 bayesian confidence-interval

1

Come prelevare campioni casuali da una distribuzione stimata non parametrica?

Ho un campione di 100 punti che sono continui e monodimensionali. Ho stimato la sua densità non parametrica usando i metodi del kernel. Come posso estrarre campioni casuali da questa distribuzione stimata?

14 r sampling kernel-smoothing

3

Posso ricostruire una distribuzione normale dalla dimensione del campione e dai valori minimo e massimo? Posso usare il punto intermedio per delineare la media

So che potrebbe essere un po 'complicato, statisticamente, ma questo è il mio problema. Ho molti dati di intervallo, vale a dire la dimensione minima, massima e di campionamento di una variabile. Per alcuni di questi dati ho anche una media, ma non molti. Voglio confrontare questi intervalli tra loro …

14 r normal-distribution estimation missing-data order-statistics

2

Dimensioni del campione non uguali: quando chiamarlo si chiude

Sto recensendo un articolo di un giornale accademico e gli autori hanno scritto quanto segue come giustificazione per non riportare alcuna statistica inferenziale (ho deidentificato la natura dei due gruppi): In totale, 25 dei 2,349 (1,1%) rispondenti presentate X . Ci asteniamo in modo appropriato dalla presentazione di analisi che …

14 hypothesis-testing sample-size power-analysis power group-differences

4

La metodologia della foresta casuale può essere applicata alle regressioni lineari?

Le foreste casuali funzionano creando un insieme di alberi decisionali in cui ogni albero viene creato utilizzando un campione bootstrap dei dati di addestramento originali (campione di variabili di input e osservazioni). È possibile applicare un processo simile per la regressione lineare? Crea k modelli di regressione lineare usando un …

14 regression predictive-models ensemble

3

Comprensione della banda di confidenza da una regressione polinomiale

Sto cercando di capire il risultato che vedo nel mio grafico qui sotto. Di solito, tendo a usare Excel e ottengo una linea di regressione lineare, ma nel caso seguente sto usando R e ottengo una regressione polinomiale con il comando: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() Quindi le mie …

14 r regression data-visualization outliers

3

Come ottenere previsioni in termini di tempo di sopravvivenza da un modello di Cox PH?

Voglio sviluppare un modello di previsione (Cox PH) per la mortalità per tutte le cause in un set di dati di partecipanti di cui (quasi) tutti sono deceduti al termine del follow-up (ad es. 1 anno). Invece di prevedere il rischio assoluto di morire in un determinato momento, vorrei prevedere …

14 survival prediction cox-model

3

P = 5,0% è significativo?

Oggi mi è stato chiesto se un valore p di 0,05 (esattamente) sia considerato significativo (dato alfa = 5%) o meno. Non conoscevo la risposta e Google ha trovato entrambe le risposte: (a) il risultato è significativo se p è inferiore al 5% e (b) se p è inferiore al …

14 hypothesis-testing statistical-significance p-value