Statistiche e Big Data

1

Dalle reti bayesiane alle reti neurali: come la regressione multivariata può essere trasposta in una rete multi-output

Ho a che fare con un modello lineare gerarchico bayesiano , qui la rete lo descrive. YYY rappresenta le vendite giornaliere di un prodotto in un supermercato (osservato). XXX è una matrice nota di regressori, inclusi prezzi, promozioni, giorno della settimana, tempo, festività. SSS è il livello di inventario latente …

20 regression bayesian neural-networks generalized-linear-model bayesian-network

1

Esiste una spiegazione intuitiva del perché la regressione logistica non funzionerà per un caso di separazione perfetta? E perché l'aggiunta di regolarizzazione lo risolverà?

Abbiamo molte buone discussioni sulla separazione perfetta nella regressione logistica. Come ad esempio, la regressione logistica in R ha provocato una separazione perfetta (fenomeno di Hauck-Donner). E adesso? e il modello di regressione logistica non converge . Personalmente ritengo ancora che non sia intuitivo il motivo per cui sarà un …

20 logistic generalized-linear-model optimization intuition separation

1

Howlers causati dall'uso della regressione graduale

Sono ben consapevole dei problemi della selezione graduale / avanti / indietro nei modelli di regressione. Esistono numerosi casi di ricercatori che denunciano i metodi e indicano alternative migliori. Ero curioso di sapere se esistono delle storie in cui un'analisi statistica: ha usato la regressione graduale; fatto alcune conclusioni importanti …

20 regression stepwise-regression history

3

Fare statistiche corrette in un ambiente di lavoro?

Non sono sicuro di dove appartenga questa domanda: Cross Validated o The Workplace. Ma la mia domanda è vagamente correlata alle statistiche. Questa domanda (o immagino domande) è nata durante il mio lavoro come "stagista di scienza dei dati". Stavo costruendo questo modello di regressione lineare ed esaminando la trama …

20 careers

1

MCMC adattivo può essere attendibile?

Sto leggendo su MCMC adattivo (vedi ad esempio, capitolo 4 del manuale di Markov Chain Monte Carlo , ed. Brooks et al., 2011; e anche Andrieu & Thoms, 2008 ). Il risultato principale di Roberts e Rosenthal (2007) è che se lo schema di adattamento soddisfa la condizione di adattamento …

20 simulation mcmc random-generation metropolis-hastings

5

Ipotesi di regressione multipla: in che modo il presupposto della normalità è diverso dal presupposto della varianza costante?

Ho letto che queste sono le condizioni per l'utilizzo del modello di regressione multipla: i residui del modello sono quasi normali, la variabilità dei residui è quasi costante i residui sono indipendenti e ogni variabile è linearmente correlata al risultato. In che modo 1 e 2 sono diversi? Puoi vederne …

20 regression multiple-regression assumptions

2

Prova che la statistica F segue la distribuzione F.

Alla luce di questa domanda: prova che i coefficienti in un modello OLS seguono una distribuzione t con gradi di libertà (nk) Mi piacerebbe capire perché F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, dove è il numero di parametri del modello e il numero di osservazioni e la varianza totale, la varianza residua, …

20 regression hypothesis-testing least-squares f-distribution f-statistic

6

Completamento di una matrice di correlazione 3x3: due coefficienti dei tre dati

Mi è stata posta questa domanda in un'intervista. Diciamo che abbiamo una matrice di correlazione della forma ⎡⎣⎢10.60.80.61γ0.8γ1⎤⎦⎥[10.60.80.61γ0.8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} Mi è stato chiesto di trovare il valore di gamma, data questa matrice di correlazione. Ho pensato di poter fare qualcosa con gli autovalori, dal momento che dovrebbero essere tutti maggiori o …

20 pearson-r correlation-matrix

5

Tira un dado fino a quando non atterra su un numero diverso da 4. Qual è la probabilità che il risultato sia> 4?

Un giocatore riceve un dado a sei facce. Per vincere, deve tirare un numero maggiore di 4 (cioè un 5 o un 6). Se lancia un 4, deve rotolare di nuovo. Quali sono le sue probabilità di vincere? Penso che la probabilità di vincere , possa essere espressa in modo …

20 probability

1

Processi gaussiani nel dominio wavelet: qual è la covarianza?

Ho letto Maraun et al , "Processi gaussiani non stazionari nel dominio wavelet: sintesi, stima e test significativi" (2007) che definisce una classe di GP non stazionari che possono essere specificati da moltiplicatori nel dominio wavelet. Una realizzazione di uno di questi GP è: dove è rumore bianco, è la …

20 normal-distribution stochastic-processes gaussian-process fourier-transform wavelet

3

Per massimizzare la possibilità di indovinare correttamente il risultato di un lancio della moneta, dovrei sempre scegliere il risultato più probabile?

Questo non è un compito. Sono interessato a capire se la mia logica è corretta con questo semplice problema di statistiche. Diciamo che ho una moneta a 2 facce in cui la probabilità di lanciare una testa è e la probabilità di lanciare una coda è . Supponiamo che tutti …

20 probability

1

Come possiamo simulare da una miscela geometrica?

Se f1,…,fkf1,…,fkf_1,\ldots,f_k sono densità note dalle quali posso simulare, ovvero per le quali è disponibile un algoritmo. e se il prodotto ∏i=1kfi(x)αiα1,…,αk>0∏i=1kfi(x)αiα1,…,αk>0\prod_{i=1}^k f_i(x)^{\alpha_i}\qquad \alpha_1,\ldots,\alpha_k>0 è integrabile, esiste un approccio generico per simulare da questa densità di prodotto usando i simulatori dififif_i ?

20 simulation monte-carlo geometric-mean scalability finite-mixture-model

4

Qual è la differenza tra apprendimento e inferenza?

I documenti di ricerca sull'apprendimento automatico spesso trattano l'apprendimento e l'inferenza come due compiti separati, ma non mi è chiaro quale sia la distinzione. In questo libro, ad esempio, usano le statistiche bayesiane per entrambi i tipi di attività, ma non forniscono una motivazione per quella distinzione. Ho diverse idee …

20 machine-learning terminology

3

Perché AUC = 1 persino il classificatore ha classificato erroneamente metà dei campioni?

Sto usando un classificatore che restituisce probabilità. Per calcolare l'AUC, sto usando il pacchetto R pROC. Le probabilità di output dal classificatore sono: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmostra la probabilità di essere nella classe '1'. Come mostrato, il classificatore ha classificato tutti i campioni …

20 machine-learning auc

4

Codifica dei dati angolari per la rete neurale

Sto addestrando una rete neurale (dettagli non importanti) in cui i dati target sono un vettore di angoli (tra 0 e 2 * pi). Sto cercando consigli su come codificare questi dati. Ecco cosa sto provando attualmente (con successo limitato): 1) Codifica 1-of-C: inserisco i possibili angoli impostati in circa …

20 neural-networks circular-statistics