Statistiche e Big Data

4

Confronto tra due istogrammi usando la distanza Chi-quadrato

Voglio confrontare due immagini di volti. Ho calcolato i loro istogrammi LBP. Quindi ora ho bisogno di confrontare questi due istogrammi e ottenere qualcosa che dirà quanto questi istogrammi sono uguali (0 - 100%). Esistono molti modi per risolvere questo compito, ma gli autori del metodo LBP sottolineano (Face Description …

18 chi-squared histogram image-processing

4

Aspettativa di un prodotto di variabili casuali dipendenti quando

Lasciate e , . Qual è l'aspettativa di come ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,... n → ∞X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics random-variable expected-value

5

Qual è la dimensione dell'effetto ... e perché è persino utile?

Ho un background statistico di livello introduttivo (suppongo di conoscere statistiche matematiche e probabilità a livello universitario (ad es. Wackerly et al., Probabilità di Ross) e avere una certa conoscenza della teoria delle misure). Di recente ho iniziato un lavoro facendo progettazione sperimentale e rapporti statistici nelle statistiche sull'istruzione e …

18 effect-size group-differences

3

Un bell'esempio in cui una serie senza una radice unitaria non è stazionaria?

Ho visto diverse volte le persone rifiutare il nulla in un test Dickey-Fuller aumentato , e quindi affermare che mostra che la loro serie è stazionaria (sfortunatamente, non posso mostrare le fonti di queste affermazioni, ma immagino che simili affermazioni esistano qua e là in uno o un altro diario). …

18 time-series unit-root stationarity augmented-dickey-fuller

4

Perché suddividere i dati nel set di training e test non è sufficiente

So che per accedere alle prestazioni del classificatore devo dividere i dati in training / test set. Ma leggendo questo : Quando si valutano impostazioni diverse ("iperparametri") per gli stimatori, come l'impostazione C che deve essere impostata manualmente per un SVM, sussiste il rischio di un overfitting sul set di …

18 machine-learning cross-validation

2

Dare un senso all'analisi dei componenti indipendenti

Ho visto e apprezzato la domanda Dare un senso all'analisi dei componenti principali e ora ho la stessa domanda per l'analisi indipendente dei componenti. Voglio dire, voglio fare una domanda completa sui modi intuitivi per comprendere l'ICA? Voglio capire esso. Voglio ottenerne lo scopo. Voglio averne la sensazione. Credo fermamente …

18 intuition ica

1

Cheat Sheet ANOVA Alphabet Soup & Regression Equivalents

Posso ottenere aiuto per completare questo tentativo (in corso) tentativo di orientarmi sugli equivalenti ANOVA e REGRESSION? Ho cercato di conciliare concetti, nomenclatura e sintassi di queste due metodologie. Ci sono molti post su questo sito sulla loro comunanza, per esempio questo o questo , ma è comunque utile avere …

18 regression anova mixed-model

2

Qual è il problema con i priori empirici?

In letteratura a volte inciampo sull'osservazione, che la scelta dei priori che dipendono dai dati stessi (ad esempio Zellners g-prior) può essere criticata da un punto di vista teorico. Dov'è esattamente il problema se il precedente non viene scelto indipendentemente dai dati?

18 bayesian prior hierarchical-bayesian

2

In un modello di Poisson, qual è la differenza tra l'utilizzo del tempo come covariata o offset?

Di recente ho scoperto come modellare le esposizioni nel tempo usando il registro (ad es.) Del tempo come offset in una regressione di Poisson. Ho capito che l'offset corrisponde ad avere il tempo come covariata con coefficiente 1. Mi piacerebbe capire meglio la differenza tra l'uso del tempo come offset …

18 poisson-regression predictor offset

1

Come viene riportata la matrice di confusione dalla convalida incrociata di K-fold?

Supponiamo che esegua la convalida incrociata K-fold con K = 10 pieghe. Ci sarà una matrice di confusione per ogni piega. Quando si riportano i risultati, devo calcolare qual è la matrice di confusione media o semplicemente sommare le matrici di confusione?

18 machine-learning cross-validation accuracy

1

Prova della formula LOOCV

Da un'introduzione all'apprendimento statistico di James et al., La stima di convalida incrociata (LOOCV) lascia una traccia è definita da dove .MSEi=(yi - y i)2CV( n )= 1nΣi = 1nMSEioCV(n)=1nΣio=1nMSEio\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEio= ( yio- y^io)2MSEio=(yio-y^io)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Senza prove, l'equazione (5.2) afferma che per i minimi quadrati o la regressione …

18 regression self-study cross-validation least-squares

1

Esiste un chiaro insieme di condizioni in cui i percorsi della soluzione di lazo, cresta o rete elastica sono monotoni?

La domanda Cosa concludere da questo diagramma del lazo (glmnet) dimostra percorsi di soluzione per lo stimatore del lazo che non sono monotonici. Cioè, alcuni cofficients crescono in valore assoluto prima che si restringano. Ho applicato questi modelli a diversi tipi di set di dati e non ho mai visto …

18 lasso ridge-regression elastic-net

1

Interpretazione del dip test di Hartigans

Vorrei trovare un modo per quantificare l'intensità della bimodalità di alcune distribuzioni ottenute empiricamente. Da quello che ho letto, c'è ancora qualche dibattito sul modo di quantificare la bimodalità. Ho scelto di utilizzare il dip test di Hartigans che sembra essere l'unico disponibile su R (documento originale: http://www.stat.washington.edu/wxs/Stat593-s03/Literature/hartigan85a.pdf ). Il …

18 r distributions

5

Perché usare la teoria dei valori estremi?

Vengo dall'ingegneria civile, in cui utilizziamo la teoria del valore estremo , come la distribuzione GEV per prevedere il valore di determinati eventi, come la maggiore velocità del vento , ovvero il valore al quale il 98,5% della velocità del vento sarebbe inferiore. La mia domanda è: perché usare una …

18 quantiles extreme-value

2

Smoothing - quando usarlo e quando non farlo?

C'è un post piuttosto vecchio sul blog di William Briggs che esamina le insidie del livellamento dei dati e del loro trasferimento attraverso l'analisi. L'argomento chiave è precisamente: Se, in un momento di follia, realizzi dati regolari sulle serie temporali e li usi come input per altre analisi, aumenti notevolmente …

18 time-series smoothing