Statistiche e Big Data

3

Intervallo di confidenza per la varianza dato un'osservazione

Questo è un problema della "7ª Olimpiade degli studenti di Kolmogorov nella teoria della probabilità": Data un'osservazione XXX da una distribuzione Normal(μ,σ2)Normal⁡(μ,σ2)\operatorname{Normal}(\mu,\sigma^2) con entrambi i parametri sconosciuti, fornire un intervallo di confidenza per con un livello di confidenza di almeno il 99%.σ2σ2\sigma^2 Mi sembra che questo dovrebbe essere impossibile. Ho …

25 probability normal-distribution confidence-interval variance

3

Interpretazione del diagramma dei residui rispetto ai valori adattati dalla regressione di Poisson

Sto cercando di adattare i dati con un GLM (regressione di poisson) in R. Quando ho tracciato i residui rispetto ai valori adattati, il diagramma ha creato "linee" multiple (quasi lineari con una leggera curva concava). Cosa significa questo? library(faraway) modl <- glm(doctorco ~ sex + age + agesq + …

25 r self-study generalized-linear-model poisson-regression

9

Qual è un buon strumento per creare diagrammi Sankey?

Come posso creare diagrammi Sankey ?

25 data-visualization software sankey-diagram

6

Quali sono le buone tecniche di visualizzazione dei dati per confrontare le distribuzioni?

Sto scrivendo la mia tesi di dottorato e mi sono reso conto che faccio troppo affidamento sui grafici a scatole per confrontare le distribuzioni. Quali altre alternative ti piacciono per raggiungere questo obiettivo? Vorrei anche chiederti se conosci altre risorse come la galleria R in cui posso ispirarmi con idee …

25 r distributions data-visualization boxplot relative-distribution

4

Ziliak (2011) si oppone all'uso dei valori di p e menziona alcune alternative; quali sono?

In un recente articolo che discute dei demeriti di basarsi sul valore p per inferenza statistica, chiamato "Matrixx v. Siracusano e Student v. Fisher Significato statistico nella sperimentazione" (DOI: 10.1111 / j.1740-9713.2011.00511.x), Stephen T. Ziliak si oppone all'uso dei valori di p. Nei paragrafi conclusivi afferma: I dati sono l'unica …

25 r hypothesis-testing statistical-significance bayesian p-value

2

Qual è la differenza tra il filtro Kalman e la media mobile?

Sto calcolando un filtro Kalman molto semplice (camminata casuale + modello rumore). Trovo che l'output del filtro sia molto simile a una media mobile. Esiste un'equivalenza tra i due? In caso contrario, qual è la differenza?

25 kalman-filter

5

Perché usare il metodo Monte Carlo invece di una semplice griglia?

quando ho integrato una funzione o in simulazioni complesse, ho visto che il metodo Monte Carlo è ampiamente usato. Mi chiedo perché non si genera una griglia di punti per integrare una funzione invece di disegnare punti casuali. Non porterebbe risultati più esatti?

25 monte-carlo

7

Perché il genere è in genere codificato 0/1 anziché 1/2, ad esempio?

Comprendo la logica della codifica per l'analisi dei dati. La mia domanda che segue è sull'uso di un codice specifico. C'è un motivo per cui il genere è spesso codificato come 0 per la femmina e 1 per il maschio? Perché questa codifica è considerata "standard"? Confronta questo con Female …

25 data-transformation binary-data categorical-encoding units

4

Affrontare l'incertezza del modello

Mi chiedevo come i Bayesiani nella comunità CrossValidated vedono il problema dell'incertezza del modello e come preferiscono affrontarlo? Proverò a porre la mia domanda in due parti: Quanto è importante (secondo la tua esperienza / opinione) affrontare l'incertezza del modello? Non ho trovato alcun documento relativo a questo problema nella …

25 machine-learning bayesian model-selection

1

Costruire intervalli di confidenza in base alla probabilità del profilo

Nel mio corso di statistica elementare, ho imparato a costruire un intervallo di confidenza del 95% come media della popolazione, , basato sulla normalità asintotica per "grandi" dimensioni del campione. Oltre ai metodi di ricampionamento (come bootstrap), esiste un altro approccio basato sulla "probabilità del profilo" . Qualcuno potrebbe chiarire …

25 confidence-interval profile-likelihood

2

Quando dovrei * non * usare la funzione nlm di R per MLE?

Ho incontrato un paio di guide che suggeriscono di usare R's nlm per la massima stima della probabilità. Ma nessuno di essi (inclusa la documentazione di R ) fornisce molte indicazioni teoriche su quando utilizzare o meno la funzione. Per quanto ne so, nlm sta solo facendo una discesa gradiente …

25 r maximum-likelihood

2

La PCA è instabile in multicollinearità?

So che in una situazione di regressione, se si dispone di un insieme di variabili altamente correlate, questo è generalmente "negativo" a causa dell'instabilità dei coefficienti stimati (la varianza va verso l'infinito mentre il determinante va verso lo zero). La mia domanda è se questa "cattiveria" persista in una situazione …

25 pca multicollinearity

3

Che cos'è un processo di rumore bianco?

Qual è il modo migliore per definire il processo del rumore bianco in modo che sia intuitivo e facile da capire?

25 time-series

2

Modello lineare generale vs. modello lineare generalizzato (con una funzione di collegamento identità?)

Questo è il mio primo post, quindi per favore, prenditela comoda se non seguo alcuni standard! Ho fatto una ricerca per la mia domanda e non è emerso nulla. La mia domanda riguarda principalmente le differenze pratiche tra modellistica lineare generale (GLM) e modellistica lineare generalizzata (GZLM). Nel mio caso …

25 modeling linear-model

4

Collaborazione statistica

Come biologo, molti dei progetti di ricerca su cui lavoro ad un certo punto prevedono la collaborazione con uno statistico, sia che si tratti di consigli semplici o di implementazione e test di un modello per i miei dati. I miei colleghi di statistica ammettono di collaborare in modo significativo, …

25 academia