Statistiche e Big Data

1

Posso convertire una matrice di covarianza in incertezze per le variabili?

Ho un'unità GPS che emette una misurazione del rumore tramite matrice di covarianza :ΣΣ\Sigma Σ=⎡⎣⎢σxxσyxσxzσxyσyyσyzσxzσyzσzz⎤⎦⎥Σ=[σxxσxyσxzσyxσyyσyzσxzσyzσzz]\Sigma = \left[\begin{matrix} \sigma_{xx} & \sigma_{xy} & \sigma_{xz} \\ \sigma_{yx} & \sigma_{yy} & \sigma_{yz} \\ \sigma_{xz} & \sigma_{yz} & \sigma_{zz} \end{matrix}\right] (c'è anche ttt coinvolti, ma ignoriamo che per un secondo.) Supponiamo di voler dire a …

15 covariance measurement-error uncertainty

1

In che modo ggplot calcola gli intervalli di confidenza per le regressioni?

Il pacchetto di stampa R ggplot2 ha una fantastica funzione chiamata stat_smooth per tracciare una linea (o curva) di regressione con la banda di confidenza associata. Tuttavia, faccio fatica a capire esattamente come viene generata questa banda di confidenza, per ogni volta della linea di regressione (o "metodo"). Come posso …

15 r regression confidence-interval ggplot2

1

Come stimare il processo di Poisson usando R? (Oppure: come utilizzare il pacchetto NHPoisson?)

Ho un database di eventi (cioè una variabile di date) e covariate associate. Gli eventi sono generati dal processo di Poisson non stazionario con il parametro che è una funzione sconosciuta (ma possibilmente lineare) di alcune covariate. Penso che il pacchetto NHPoisson esista proprio per questo scopo; ma dopo 15 …

15 r poisson-distribution poisson-process

2

Stima della distribuzione posteriore della covarianza di un gaussiano multivariato

Devo "imparare" la distribuzione di un gaussiano bivariato con pochi campioni, ma una buona ipotesi sulla distribuzione precedente, quindi vorrei usare l'approccio bayesiano. Ho definito il mio precedente: P(μ)∼N(μ0,Σ0)P(μ)∼N(μ0,Σ0) \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) μ0=[00] Σ0=[160027]μ0=[00] Σ0=[160027] \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & …

15 distributions bayesian estimation covariance posterior

2

Stima dei parametri di una distribuzione normale: mediana anziché media?

L'approccio comune per stimare i parametri di una distribuzione normale è quello di utilizzare la media e la deviazione / varianza standard del campione. Tuttavia, se ci sono alcuni valori anomali, la deviazione mediana e mediana dalla mediana dovrebbe essere molto più robusta, giusto? Su alcuni set di dati che …

15 normal-distribution estimation outliers robust unbiased-estimator

4

La funzione logit è sempre la migliore per la modellazione di regressione dei dati binari?

Ho pensato a questo problema. La normale funzione logistica per la modellazione di dati binari è: Comunque la funzione logit, che è una curva a forma di S, è sempre la migliore per modellare i dati? Forse hai motivo di credere che i tuoi dati non seguano la normale curva …

15 logistic references link-function

2

Specificare una struttura di covarianza: pro e contro

Quali sono i vantaggi di specificare una struttura di covarianza in un GLM (piuttosto che trattare tutte le voci fuori diagonale nella matrice di covarianza come zero)? Oltre a riflettere ciò che si sa dei dati, lo fa migliorare la bontà di adattamento? migliorare la precisione predittiva dei dati dati? …

15 generalized-linear-model covariance

1

Significato dei termini di output nel pacchetto gbm?

Sto usando il pacchetto gbm per la classificazione. Come previsto, i risultati sono buoni. Ma sto cercando di capire l'output del classificatore. Ci sono cinque termini in uscita. `Iter TrainDeviance ValidDeviance StepSize Improve` Qualcuno potrebbe spiegare il significato di ogni termine, in particolare il significato di Migliora .

15 r machine-learning

1

Perché stabilizziamo la varianza?

Mi sono imbattuto nella varianza stabilizzando la trasformazione mentre leggevo il metodo Kaggle Essay Eval . Usano una trasformazione di stabilizzazione della varianza per trasformare i valori kappa prima di prendere la loro media e poi trasformarli indietro. Anche dopo aver letto il wiki sulle trasformazioni di stabilizzazione della varianza …

15 variance mathematical-statistics

3

Perché utilizzare una certa misura dell'errore di previsione (ad es. MAD) anziché un'altra (ad es. MSE)?

MAD = Deviazione assoluta media MSE = Errore quadrato medio Ho visto suggerimenti da vari luoghi che MSE viene utilizzato nonostante alcune qualità indesiderabili (ad esempio http://www.stat.nus.edu.sg/~staxyc/T12.pdf , che afferma a p8 "Si ritiene comunemente che MAD è un criterio migliore di MSE. Tuttavia, matematicamente MSE è più conveniente di …

15 forecasting error mse mae

1

Visualizzazione dei risultati di modelli misti

Uno dei problemi che ho sempre avuto con i modelli misti è capire le visualizzazioni dei dati - del tipo che potrebbe finire su un foglio o un poster - una volta che si ottengono i risultati. In questo momento, sto lavorando a un modello di effetti misti Poisson con …

15 r data-visualization mixed-model

7

La foresta casuale è troppo adatta

Sto cercando di usare la regressione casuale della foresta in scikits-learn. Il problema è che sto ricevendo un errore di test molto elevato: train MSE, 4.64, test MSE: 252.25. Ecco come appaiono i miei dati: (blu: dati reali, verde: previsto): Sto usando il 90% per l'allenamento e il 10% per …

15 regression random-forest scikit-learn

3

Alcune domande sulla casualità statistica

Da randoness statistico di Wikipedia : La casualità globale e la casualità locale sono diverse. La maggior parte delle concezioni filosofiche della casualità sono globali, perché si basano sull'idea che "nel lungo periodo" una sequenza sembra veramente casuale, anche se alcune sotto-sequenze non sembrano casuali. In una sequenza "veramente" casuale …

15 mathematical-statistics random-generation

1

Regressione degli errori nelle variabili: è valido unire i dati di tre siti?

Recentemente ho avuto un cliente da me per fare un'analisi bootstrap perché un revisore della FDA ha affermato che la loro regressione errori-in-variabili non era valida perché quando si univano i dati dei siti l'analisi includeva il pooling dei dati di tre siti in cui due siti includevano alcuni esempi …

15 regression errors-in-variables deming-regression pooling

11

Esempi di processi che non sono Poisson?

Sto cercando alcuni buoni esempi di situazioni inadatte a modellare con una distribuzione di Poisson, per aiutarmi a spiegare la distribuzione di Poisson agli studenti. Uno usa comunemente il numero di clienti che arrivano in un negozio in un intervallo di tempo come esempio che può essere modellato da una …

15 poisson-distribution teaching