Statistiche e Big Data

2

Test di bontà di adattamento: domanda sul test Anderson – Darling e criterio di Cramér – von Mises

Sto leggendo le pagine Web per la bontà dei test di idoneità, quando sono arrivato al test Anderson – Darling e al criterio Cramér – von Mises . Finora ho capito il punto; sembra che il test Anderson – Darling e il criterio Cramér – von Mises siano simili, basandosi …

10 goodness-of-fit anderson-darling

3

Confusione legata alla rete elastica

Stavo leggendo questo articolo relativo alla rete elastica. Dicono che usano la rete elastica perché se usiamo semplicemente Lasso tende a selezionare solo un predittore tra i predittori che sono altamente correlati. Ma non è questo ciò che vogliamo. Voglio dire, non ci salva dal problema della multicollinearità. Qualche suggerimento …

10 regression lasso elastic-net

1

Perché gli statistici non usano le informazioni reciproche come misura di associazione?

Ho visto un paio di discorsi di non statistici in cui sembrano reinventare le misure di correlazione usando le informazioni reciproche anziché la regressione (o test statistici equivalenti / strettamente correlati). Presumo che ci sia una buona ragione per cui gli statistici non adottano questo approccio. La comprensione del mio …

10 correlation mutual-information

4

La regressione di x su y è chiaramente migliore di y su x in questo caso?

Uno strumento utilizzato per misurare i livelli di glucosio nel sangue di una persona viene monitorato su un campione casuale di 10 persone. I livelli vengono inoltre misurati utilizzando una procedura di laboratorio molto accurata. La misura dello strumento è indicata da x. La misura della procedura di laboratorio è …

10 regression self-study measurement

3

Regressione generalizzata ponderata in BUG, JAGS

In R"peso precedente" possiamo glmregredire tramite il parametro pesi . Per esempio: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) Come può essere realizzato in un JAGSo BUGSmodello? Ho trovato alcuni articoli che ne discutono, ma nessuno di loro fornisce un esempio. Sono interessato principalmente agli esempi …

10 bayesian generalized-linear-model jags bugs weighted-regression

2

L'aggiunta di effetti casuali influenza le stime dei coefficienti

Mi è sempre stato insegnato che gli effetti casuali influenzano solo la varianza (errore) e che gli effetti fissi influenzano solo la media. Ma ho trovato un esempio in cui gli effetti casuali influenzano anche la media - la stima del coefficiente: require(nlme) set.seed(128) n <- 100 k <- 5 …

10 r mixed-model random-effects-model

4

Convergenza dei pesi delle reti neurali

Sono arrivato a una situazione in cui i pesi della mia rete neurale non convergono anche dopo 500 iterazioni. La mia rete neurale contiene 1 livello di input, 1 livello nascosto e 1 livello di output. Sono circa 230 nodi nel livello di input, 9 nodi nel livello nascosto e …

10 machine-learning neural-networks

2

Perché è difficile incorporare l'incertezza negli effetti casuali quando si fanno previsioni da modelli misti?

Esistono diversi thread su R-sig-ME su come ottenere intervalli di confidenza per le previsioni usando lme4e nlmein R. Ad esempio qui e qui nel 2010, tra cui alcuni commenti di Dougals Bates, uno degli autori di entrambi i pacchetti. Esito a citarlo alla lettera, per paura che vengano portati fuori …

10 mixed-model

3

La riduzione dimensionale perde sempre alcune informazioni?

Come dice il titolo, la riduzione dimensionale perde sempre alcune informazioni? Considera ad esempio PCA. Se i dati che ho sono molto scarsi, suppongo che si possa trovare una "codifica migliore" (è in qualche modo correlata al rango dei dati?) E nulla andrebbe perso.

10 pca information-theory information

3

La selezione delle funzioni deve essere eseguita solo sui dati di allenamento (o su tutti i dati)?

La selezione delle funzioni deve essere eseguita solo sui dati di allenamento (o su tutti i dati)? Ho esaminato alcune discussioni e articoli come Guyon (2003) e Singhi e Liu (2006) , ma non sono ancora sicuro della risposta giusta. La configurazione del mio esperimento è la seguente: Set di …

10 dataset cross-validation experiment-design feature-selection

2

Esplorare una matrice a trama sparsa per molte variabili

Sto analizzando un set di dati con molti parametri (diciamo 50-200) e sono interessato a guardare le relazioni tra le variabili (ad es. In termini di grafici a dispersione a 2 variabili o istogrammi 2d). Tuttavia, per questo numero di parametri sembra impossibile disegnare un array di grafici 200x200 (a …

10 correlation data-visualization multivariate-analysis scatterplot

1

Confronto tra le distribuzioni delle prestazioni di generalizzazione

Supponi di avere due metodi di apprendimento per un problema di classificazione , e , e di stimare le loro prestazioni di generalizzazione con qualcosa come ripetute convalide incrociate o bootstrap. Da questo processo ottengo una distribuzione dei punteggi e per ciascun metodo attraverso queste ripetizioni (ad esempio la distribuzione …

10 cross-validation model-selection

1

regolazione del valore p per la statistica I di Moran locale (LISA)

Sto lavorando con alcune analisi spaziali esplorative in R usando il pacchetto spdep. Mi sono imbattuto in un'opzione per regolare i valori p degli indicatori locali di associazione spaziale (LISA) calcolati usando la localmoranfunzione. Secondo i documenti si rivolge a: ... regolazione del valore di probabilità per più test. Inoltre …

10 r multiple-comparisons bonferroni

1

Cosa rende la disuguaglianza di Hoeffding un importante concetto statistico?

Sul suo blog, Larry Wasserman ha un post su ciò che aveva pianificato di coprire nel suo corso lo scorso autunno. Nota che stava abbandonando alcuni argomenti classici a favore di questioni più moderne. Un argomento che menziona è la disuguaglianza di Hoeffding. Cosa rende questo risultato particolarmente importante per …

10 probability-inequalities

1

Studio della solidità della regressione logistica contro la violazione della linearità del logit

Sto conducendo una regressione logistica con un risultato binario (inizio e non inizio). Il mio mix di predittori sono tutte variabili continue o dicotomiche. Utilizzando l'approccio Box-Tidwell, uno dei miei predittori continui potenzialmente viola l'assunzione di linearità del logit. Non ci sono indicazioni da statistiche sulla bontà di adattamento che …

10 regression logistic references assumptions robust