Statistiche e Big Data

1

Ho identificato più luoghi nei libri di testo in cui il GLM è descritto con 5 distribuzioni (vale a dire, gamma, gaussiano, binomiale, gaussiano inverso e Poisson). Ciò è anche esemplificato nella funzione familiare in R. Di tanto in tanto mi imbatto in riferimenti al GLM in cui sono incluse …

11 r probability distributions generalized-linear-model

2

Quali sono le differenze tra la regressione di Ridge usando glmnet di R e lo scikit-learn di Python?

Sto esaminando la sezione LAB §6.6 su Ridge Regression / Lasso nel libro 'An Introduction to Statistical Learning with Applications in R' di James, Witten, Hastie, Tibshirani (2013). Più specificamente, sto cercando di applicare il Ridgemodello scikit-learn al set di dati "Hitters" dal pacchetto R "ISLR". Ho creato lo stesso …

11 r machine-learning scikit-learn regression

3

Simulazione di un'escursione Brownian usando un Brownian Bridge?

Vorrei simulare un processo di escursione browniana (un moto browniano condizionato è sempre positivo quando 0 < t < 10<t<10 \lt t \lt 1 a 000 at t = 1t=1t=1 ). Poiché un processo di escursione browniana è un ponte browniano che è condizionato per essere sempre positivo, speravo di …

11 r gaussian-process brownian

1

Valore p complessivo e valori p a coppie?

Ho inserito un modello lineare generale cui probabilità di log è .L uy=β0+β1x1+β2x2+β3x3,y=β0+β1x1+β2x2+β3x3,y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,LuLuL_u Ora desidero verificare se i coefficienti sono gli stessi. Innanzitutto, test generale : la probabilità di log del modello ridotto è . Con il test del rapporto di verosimiglianza, il modello completo è significativamente migliore di quello …

11 hypothesis-testing

2

Bootstrap di parte: va bene centrare l'IC attorno alla statistica osservata?

Questo è simile a Bootstrap: la stima non rientra nell'intervallo di confidenza Ho alcuni dati che rappresentano i conteggi dei genotipi in una popolazione. Voglio stimare la diversità genetica usando l'indice di Shannon e anche generare un intervallo di confidenza usando il bootstrap. Ho notato, tuttavia, che la stima tramite …

11 r confidence-interval bootstrap bias diversity

2

Perché la massima probabilità limitata produce una stima (imparziale) migliore della varianza?

Sto leggendo il documento teorico di Doug Bates sul pacchetto lme4 di R per capire meglio l'astuzia dei modelli misti, e ho trovato un risultato intrigante che mi piacerebbe capire meglio, sull'utilizzo di REML (Limite massima verosimiglianza) per stimare la varianza . Nella sezione 3.3 sul criterio REML, afferma che …

11 maximum-likelihood mixed-model unbiased-estimator hierarchical-bayesian reml

1

Convessità della funzione di PDF e CDF della normale variabile casuale normale

Fornisci la prova che è convesso . Qui, e sono rispettivamente il normale PDF e CDF standard. ∀x>0ϕΦQ(x)=x2+xϕ(x)Φ(x)Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀x>0∀x>0\forall x>0 ϕϕ\phiΦΦ\mathbf{\Phi} PASSAGGI PROVATI 1) METODO DI CALCOLO Ho provato il metodo di calcolo e ho una formula per il secondo derivato, ma non sono in grado di dimostrare che è positivo …

11 probability self-study

2

Perché è così raro segnalare intervalli di confidenza per i mediani?

Perché è così raro trovare intervalli di confidenza riportati negli articoli delle scienze applicate? Lavoro principalmente in Informatica, ma spesso leggo articoli di psicologia (sociale), sociologia e pianificazione urbana. Non ricordo di aver visto un IC per la mediana riportato. Allo stesso tempo, mentre studiavo gli intervalli di confidenza e …

11 median confidence reporting

1

Per quale tipo di selezione delle funzioni è possibile utilizzare il test Chi square?

Qui sto chiedendo cosa fanno comunemente gli altri per usare il test chi quadrato per la selezione delle caratteristiche e il risultato nell'apprendimento supervisionato. Se capisco correttamente, testano l'indipendenza tra ogni caratteristica e il risultato e confrontano i valori p tra i test per ciascuna caratteristica? In http://en.wikipedia.org/wiki/Pearson%27s_chi-squared_test , Il …

11 hypothesis-testing chi-squared feature-selection independence scikit-learn

1

Come interpretare i colori residui su una trama a mosaico?

Questo è un diagramma a mosaico del set di dati della tabella di contingenza quiHairEyeColor descritto . Come posso interpretare i colori che rappresentano i residui? Qual è la differenza tra i residui di Pearson alti e positivi (mostrati in blu) rispetto ai residui bassi e negativi mostrati in rosso?

11 data-visualization chi-squared residuals contingency-tables

2

Binning ottimale rispetto a una determinata variabile di risposta

Sto cercando il metodo di binning ottimale (discretizzazione) di una variabile continua rispetto a una determinata variabile binaria di risposta (target) e con il numero massimo di intervalli come parametro. esempio: ho un insieme di osservazioni di persone con variabili "height" (numeral continue) e "has_back_pains" (binarie). Voglio discretizzare l'altezza in …

11 r dataset optimization discrete-data binning

2

Derivazione del normale di Wishart posteriore

Sto lavorando alla derivazione di un posteriore di Normal-Wishart ma sono bloccato su uno dei parametri (il posteriore della matrice della scala, vedi in basso). Solo per contesto e completezza, ecco il modello e il resto delle derivazioni: xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim …

11 bayesian posterior

2

ottenere gradi di libertà da Lmer

Ho adattato un modello lmer con il seguente (anche se prodotto in uscita): Random effects: Groups Name Std.Dev. day:sample (Intercept) 0.09 sample (Intercept) 0.42 Residual 0.023 Mi piacerebbe davvero costruire un intervallo di confidenza per ciascun effetto usando la seguente formula: ( n - 1 ) s2χ2α / 2 , …

11 lme4-nlme mixed-model

1

Design del modello ad effetto misto con una variabile di campionamento

Sto cercando di specificare una formula per un modello lineare a effetto misto (con lme4) per il mio disegno sperimentale, ma non sono sicuro di farlo nel modo giusto. Il design: fondamentalmente sto misurando un parametro di risposta sulle piante. Ho 4 livelli di trattamento e 2 livelli di irrigazione. …

11 r experiment-design mixed-model

3

Come eseguire l'analisi fattoriale quando la matrice di covarianza non è definita positiva?

Ho un set di dati composto da 717 osservazioni (righe) che sono descritte da 33 variabili (colonne). I dati sono standardizzati assegnando un punteggio z a tutte le variabili. Non esistono due variabili che dipendono linearmente ( ). Ho anche rimosso tutte le variabili con varianza molto bassa (inferiore a …

11 matlab factor-analysis covariance covariance-matrix