Statistiche e Big Data

3

Perché abbiamo bisogno di codificatori automatici?

Di recente, ho studiato autoencoders. Se ho capito bene, un codificatore automatico è una rete neurale in cui il livello di input è identico al livello di output. Pertanto, la rete neurale tenta di prevedere l'output utilizzando l'input come standard aureo. Qual è l'utilità di questo modello? Quali sono i …

17 neural-networks autoencoders

2

Come posso interpretare questa trama adattata vs residui?

Non capisco davvero l'eteroscedasticità. Vorrei sapere se il mio modello è appropriato o meno secondo questa trama.

17 r regression residuals heteroscedasticity independence

2

Come è possibile che Poisson GLM accetti numeri non interi?

Sono davvero sbalordito dal fatto che il Poisson GLM accetta numeri non interi! Guarda: Dati (contenuto di data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 Script R: t <- read.table("data.txt") names(t) <- c('site', …

17 r generalized-linear-model poisson-distribution poisson-regression

1

Aspettativa condizionale di R al quadrato

Considera il modello lineare semplice: yy = X ′ ββ + ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon dove ϵ i ∼ i . io . d .N ( 0 , σ 2 )ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) e X ∈ R n × pX∈Rn×pX\in\mathbb{R}^{n\times p} , p ≥ 2p≥2p\geq2 e XXX contiene una colonna di costanti. La mia domanda …

17 linear-model expected-value

4

Qual è la relazione tra

Mi chiedevo se ci fosse una relazione tra R2R2R^2 e un F-Test. Solitamente R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} e misura la forza della relazione lineare nella regressione. Un test F dimostra solo un'ipotesi. Esiste una relazione tra R2R2R^2 e …

17 regression hypothesis-testing least-squares goodness-of-fit

3

Tracciare visivamente dati cluster multidimensionali

Ho un set di dati con 16 variabili e dopo aver raggruppato per kmean, desidero tracciare i due gruppi. Quali trame suggerisci di rappresentare visivamente i due cluster?

17 data-visualization clustering k-means

1

Come dovrei affrontare mentalmente il paradosso di Borel?

Mi sento un po 'a disagio per come ho affrontato mentalmente il paradosso di Borel e altri "paradossi" associati che hanno a che fare con la probabilità condizionale. Per coloro che stanno leggendo questo e non lo conoscono, vedere questo link . La mia risposta mentale fino a questo punto …

17 probability conditional-probability conditional-expectation

3

Qual è la relazione tra R-quadrato e valore p in una regressione?

tl; dr - per la regressione OLS, un R-quadrato più alto implica anche un valore P più alto? In particolare per una singola variabile esplicativa (Y = a + bX + e) ma sarebbe anche interessato a conoscere n più variabili esplicative (Y = a + b1X + ... bnX …

17 regression modeling p-value r-squared

5

Perché k-mean non fornisce il minimo globale?

Ho letto che l'algoritmo k-mean converge solo in un minimo locale e non in un minimo globale. Perchè è questo? Posso logicamente pensare a come l'inizializzazione possa influenzare il clustering finale e c'è una possibilità di clustering non ottimale, ma non ho trovato nulla che lo dimostrasse matematicamente. Inoltre, perché …

17 clustering k-means convergence gradient-descent minimum

1

Come interpretare l'output di predict.coxph?

Dopo aver inserito un modello coxmodel è possibile fare previsioni e recuperare il rischio relativo di nuovi dati. Quello che non capisco è come viene calcolato il rischio relativo per un individuo e a che cosa è relativo (cioè la media della popolazione)? Qualche consiglio per le risorse per aiutare …

17 predictive-models relative-risk cox-model

3

Distribuzione t di raccordo in R: parametro di ridimensionamento

Come posso adattare i parametri di una distribuzione t, cioè i parametri corrispondenti alla "media" e alla "deviazione standard" di una distribuzione normale. Presumo che siano chiamati "media" e "ridimensionamento / gradi di libertà" per una distribuzione t? Il codice seguente spesso genera errori di "ottimizzazione non riuscita". library(MASS) fitdistr(x, …

17 r distributions maximum-likelihood fitting robust

5

Perché il mio R-quadrato è così basso quando le mie statistiche t sono così grandi?

Ho eseguito una regressione con 4 variabili, e tutte sono statisticamente significative, con valori T e (dico perché sembra irrilevante includere i decimali) che sono molto alti e chiaramente significativi. Ma poi è solo .2284. Sto fraintendendo i valori t qui per indicare qualcosa che non sono? La mia prima …

17 regression hypothesis-testing econometrics

1

Collegamento tra funzione generatrice di momenti e funzione caratteristica

Sto cercando di capire il legame tra la funzione generatrice del momento e la funzione caratteristica. La funzione generatrice del momento è definita come: MX(t)=E(exp(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n!MX(t)=E(exp⁡(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n! M_X(t) = E(\exp(tX)) = 1 + \frac{t E(X)}{1} + \frac{t^2 E(X^2)}{2!} + \dots + \frac{t^n E(X^n)}{n!} Uso dell'espansione in serie di , Posso trovare tutti …

17 probability moments mgf method-of-moments characteristic-function

1

Coefficiente negativo nella regressione logistica ordinata

Supponiamo di avere la risposta ordinale e un insieme di variabili che pensiamo spiegherò . Quindi eseguiamo una regressione logistica ordinata di (matrice di progettazione) su (risposta).X : = [ x 1 , x 2 , x 3 ] y X yy:{Bad, Neutral, Good}→{1,2,3}y:{Bad, Neutral, Good}→{1,2,3}y:\{\text{Bad, Neutral, Good}\} \rightarrow \{1,2,3\}X:=[x1,x2,x3]X:=[x1,x2,x3]X:=[x_1,x_2,x_3]yyyXXXyyy …

17 logit odds-ratio ordered-logit

3

Come funziona l'errore standard?

Di recente ho esaminato il funzionamento interno dell'errore standard e mi sono trovato incapace di capire come funziona. La mia comprensione dell'errore standard è che si tratta della deviazione standard della distribuzione dei mezzi di campionamento. Le mie domande sono: • come facciamo a sapere se l'errore standard è la …

17 standard-error