Statistiche e Big Data

1

Partizionamento della varianza e cambiamenti longitudinali in correlazione con i dati binari

Sto analizzando i dati su 300.000 alunni in 175 scuole con un modello logistico lineare a effetti misti (intercettazioni casuali). Ogni alunno si verifica esattamente una volta e i dati durano 6 anni. Come dividere la varianza tra la scuola e il livello degli alunni, in modo simile al VPC …

14 mixed-model binary-data

1

Quali sono i diversi tipi di codifiche disponibili per le variabili categoriali (in R) e quando le useresti?

Se si adatta un modello lineare o un modello misto, sono disponibili diversi tipi di codifica per trasformare una varibale categorica o nominale in un numero di variabili per le quali vengono stimati i parametri, come il conding fittizio (impostazione predefinita R) e la codifica degli effetti. Ho sentito che …

14 regression mixed-model categorical-data contrasts categorical-encoding

3

Modelli di argomenti per documenti brevi

Ispirato da questa domanda , mi chiedo se sia stato fatto qualche lavoro su modelli di argomenti per grandi raccolte di testi estremamente brevi. La mia intuizione è che Twitter dovrebbe essere un'ispirazione naturale per tali modelli. Tuttavia, da una sperimentazione limitata, sembra che i modelli di argomenti standard (LDA, …

14 references text-mining topic-models natural-language

2

Posso usare gli algoritmi glm per fare una regressione logistica multinomiale?

Sto usando Spotfire (S ++) per l'analisi statistica nel mio progetto e devo eseguire la regressione logistica multinomiale per un set di dati di grandi dimensioni. So che il miglior algoritmo sarebbe stato mlogit, ma sfortunatamente non è disponibile in s ++. Tuttavia, ho un'opzione di utilizzare l'algoritmo glm per …

14 generalized-linear-model logistic

5

Interpretazione delle discrepanze tra R e SPSS con analisi fattoriale esplorativa

Sono uno studente laureato in informatica. Ho fatto un'analisi esplorativa dei fattori per un progetto di ricerca. I miei colleghi (che stanno guidando il progetto) usano SPSS, mentre io preferisco usare R. Questo non ha importanza fino a quando non abbiamo scoperto una grande discrepanza tra i due pacchetti statistici. …

14 r spss factor-analysis

2

Gestione di set di dati con un numero variabile di funzionalità

Quali sono alcuni approcci per classificare i dati con un numero variabile di funzionalità? Ad esempio, considera un problema in cui ogni punto dati è un vettore di punti xey e non abbiamo lo stesso numero di punti per ogni istanza. Possiamo considerare ogni coppia di punti xey come una …

14 machine-learning missing-data

2

Domanda sulla regressione logistica

Voglio eseguire una regressione logistica binaria per modellare la presenza o l'assenza di conflitto (variabile dipendente) da un insieme di variabili indipendenti su un periodo di 10 anni (1997-2006), con ogni anno 107 osservazioni. I miei indipendenti sono: degrado del suolo (categorico per 2 tipi di degrado); aumento della popolazione …

14 regression time-series logistic spatial ecology

3

Sistemi di raccomandazione dinamici

Un sistema di raccomandazione misurerebbe la correlazione tra le valutazioni dei diversi utenti e genererebbe raccomandazioni per un determinato utente sugli elementi che potrebbero essere di suo interesse. Tuttavia, i gusti cambiano nel tempo, quindi le classificazioni precedenti potrebbero non riflettere le preferenze correnti e viceversa. Una volta potresti aver …

14 recommender-system

3

Cosa si può dire a un bambino della scuola di statistiche e apprendimento automatico?

La prossima settimana abbiamo uno stagista di una scuola locale in casa. Il concetto alla base del suo breve tirocinio è quello di farsi un'idea di come funziona il mondo reale e di come si occupano determinati lavori, come appare il lavoro quotidiano, ecc. Ora mi chiedevo cosa si potesse …

14 machine-learning teaching

2

Codifica di caratteristiche categoriche in numeri per l'apprendimento automatico

Molti algoritmi di machine learning, ad esempio le reti neurali, prevedono di gestire i numeri. Pertanto, quando si dispone di dati categorici, è necessario convertirli. Per categorico intendo, ad esempio: Marche di auto: Audi, BMW, Chevrolet ... ID utente: 1, 25, 26, 28 ... Anche se gli ID utente sono …

14 machine-learning many-categories

1

Perché dovremmo discutere i comportamenti di convergenza di diversi stimatori in diverse topologie?

Nel primo capitolo del libro Geometria algebrica e teoria dell'apprendimento statistico che parla della convergenza delle stime in diversi spazi funzionali, menziona che la stima bayesiana corrisponde alla topologia di distribuzione di Schwartz, mentre la stima della massima verosimiglianza corrisponde alla topologia delle suporegole (a pagina 7): Ad esempio, super-norma, …

14 bayesian maximum-likelihood statistical-learning

3

Qualcuno può spiegare la distorsione temporale dinamica per determinare la somiglianza con le serie temporali?

Sto cercando di cogliere la misura della distorsione temporale dinamica per confrontare le serie temporali insieme. Ho tre set di dati di serie storiche come questo: T1 <- structure(c(0.000213652387565, 0.000535045478866, 0, 0, 0.000219346347883, 0.000359669104424, 0.000269469145783, 0.00016051364366, 0.000181950509461, 0.000385579332948, 0.00078170803205, 0.000747244535774, 0, 0.000622858922454, 0.000689084895259, 0.000487983408564, 0.000224744353298, 0.000416449765747, 0.000308388157895, 0.000198906016907, 0.000179549331179, 9.06289650172e-05, …

14 r time-series clustering

1

Funzione generatrice di momenti

Questa domanda sorge da quella qui posta riguardo alle funzioni legate alla generazione del momento (MGF). Supponiamo che sia una variabile casuale a media zero limitata che assume valori in e che sia il suo MGF. Da un limite usato in una prova della disuguaglianza di Hoeffding , abbiamo che …

14 probability probability-inequalities mgf

1

Libreria di ottimizzazione vincolata per vincoli di uguaglianza e disuguaglianza

Qualche consiglio per la scelta di una libreria di ottimizzazione vincolata adatta alla mia funzione di ottimizzazione? Sto minimizzando ai) la funzione non lineare con vincoli di uguaglianza e disuguaglianza lineari, e ii) ho a disposizione il gradiente e la tela di iuta della funzione. Se aiuta, la funzione che …

14 r optimization software

5

Come adattare una distribuzione Weibull ai dati di input contenenti zero?

Sto cercando di riprodurre un algoritmo di previsione esistente, tramandato da un ricercatore in pensione. Il primo passo è quello di adattare alcuni dati osservati a una distribuzione Weibull, per ottenere una forma e una scala che verranno utilizzate per prevedere i valori futuri. Sto usando R per fare questo. …

14 distributions curve-fitting