Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Perché usare le variabili registrate?
Probabilmente, questa è una domanda molto semplice, ma non riesco a trovare una risposta solida per questo. Spero qui, posso. Attualmente sto leggendo articoli come preparazione per la mia tesi di master. Attualmente sto leggendo un documento che ricerca il rapporto tra tweet e caratteristiche del mercato azionario. In una …
3
SVD di una matrice con valori mancanti
Supponiamo di avere una matrice di consigli in stile Netflix e di voler costruire un modello che preveda potenziali valutazioni future sui film per un determinato utente. Usando l'approccio di Simon Funk, si userebbe la pendenza stocastica del gradiente per ridurre al minimo la norma di Frobenius tra la matrice …
5
I bayesiani sostengono mai che ci sono casi in cui il loro approccio si generalizza / si sovrappone all'approccio frequentista?
I bayesiani sostengono mai che il loro approccio generalizza l'approccio frequentista, perché si possono usare priori non informativi e, quindi, è possibile recuperare una tipica struttura modello frequentista? Qualcuno può indirizzarmi in un posto dove posso leggere su questo argomento, se è effettivamente utilizzato? EDIT: Questa domanda è forse formulata …
2
PCA e foreste casuali
Per una recente competizione di Kaggle, ho definito (manualmente) 10 funzioni aggiuntive per il mio set di allenamento, che sarebbero state utilizzate per addestrare un classificatore di foreste casuale. Ho deciso di eseguire PCA sul set di dati con le nuove funzionalità, per vedere come si confrontavano tra loro. Ho …
2
Come ridurre il numero di articoli usando l'analisi dei fattori, la coerenza interna e la teoria della risposta degli oggetti insieme?
Sto sviluppando empiricamente un questionario e userò numeri arbitrari in questo esempio per illustrare. Per il contesto, sto sviluppando un questionario psicologico volto a valutare i modelli di pensiero comunemente identificati nelle persone che hanno disturbi d'ansia. Un articolo potrebbe apparire come "Devo controllare ripetutamente il forno perché non posso …
1
Cos'è la correzione del bias? [chiuso]
Chiuso . Questa domanda richiede dettagli o chiarezza . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiungi dettagli e chiarisci il problema modificando questo post . Chiuso 4 anni fa . Ho visto molti posti in cui hanno set di dati di input / output in cui prima …
1
Rappresentazione grafica di una curva di probabilità per un modello Logit con predittori multipli
Ho la seguente funzione di probabilità: Prob=11+e−zProb=11+e−z\text{Prob} = \frac{1}{1 + e^{-z}} dove z=B0+B1X1+⋯+BnXn.z=B0+B1X1+⋯+BnXn.z = B_0 + B_1X_1 + \dots + B_nX_n. Il mio modello sembra Pr(Y=1)=11+exp(−[−3.92+0.014×(bid)])Pr(Y=1)=11+exp⁡(−[−3.92+0.014×(bid)])\Pr(Y=1) = \frac{1}{1 + \exp\left(-[-3.92 + 0.014\times(\text{bid})]\right)} Questo viene visualizzato tramite una curva di probabilità che assomiglia a quella qui sotto. Sto pensando di aggiungere …
2
Analisi residua della regressione logistica
Questa domanda è un po 'generica e prolissa, ma per favore abbi pazienza. Nella mia applicazione, ho molti set di dati, ciascuno composto da ~ 20.000 punti dati con ~ 50 funzionalità e una singola variabile binaria dipendente. Sto tentando di modellare i set di dati utilizzando la regressione logistica …
1
Come posso ottimizzare l'efficienza computazionale quando si adatta ripetutamente un modello complesso a un set di dati di grandi dimensioni?
Sto MCMCglmmriscontrando problemi di prestazioni utilizzando il pacchetto in R per eseguire un modello di effetti misti. Il codice è simile al seguente: MC1<-MCMCglmm(bull~1,random=~school,data=dt,family="categorical" , prior=list(R=list(V=1,fix=1), G=list(G1=list(V=1, nu=0))) , slice=T, nitt=iter, ,burnin=burn, verbose=F) Ci sono circa 20.000 osservazioni nei dati e sono raggruppate in circa 200 scuole. Ho eliminato tutte …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.