Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

2
Quale sarebbe un esempio di un modello davvero semplice con una probabilità intrattabile?
Il calcolo approssimativo bayesiano è una tecnica davvero interessante per adattarsi praticamente a qualsiasi modello stocastico, destinato a modelli in cui la probabilità è intrattabile (diciamo, è possibile campionare dal modello se si correggono i parametri ma non è possibile calcolare numericamente, algoritmicamente o analiticamente la probabilità). Quando si introduce …
1
In quali condizioni la regressione della cresta è in grado di fornire un miglioramento rispetto alla normale regressione dei minimi quadrati?
La regressione di Ridge stima i parametri ββ\boldsymbol \beta in un modello lineare y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, dove λλ\lambda è un parametro di regolarizzazione. È noto che spesso si comporta meglio …
2
Stima bayesiana di
Questa domanda è un seguito tecnico di questa domanda . Ho difficoltà a comprendere e replicare il modello presentato in Raftery (1988): Inferenza per il parametro binomiale NNN : un approccio gerarchico di Bayes in WinBUGS / OpenBUGS / JAGS. Non si tratta solo di codice, quindi dovrebbe essere in …
2
Perché la deviazione standard è definita come sqrt della varianza e non come sqrt della somma dei quadrati su N?
Oggi ho insegnato a una classe introduttiva di statistica e uno studente mi ha fatto una domanda, che riformulo qui come: "Perché la deviazione standard è definita come sqrt di varianza e non come sqrt di somma dei quadrati su N?" Definiamo la varianza della popolazione:σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} E deviazione standard: .σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} …
3
Quale algoritmo implementa ward.D in hclust () se non è il criterio di Ward?
Quello usato dall'opzione "ward.D" (equivalente all'unica opzione "ward" di Ward nelle versioni R <= 3.0.3) non implementa il criterio di clustering di Ward (1963), mentre l'opzione "ward.D2" implementa quel criterio ( Murtagh e Legendre 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Apparentemente ward.D non implementa correttamente il criterio di Ward. Tuttavia sembra fare …
16 r  clustering  ward 
3
Differenze tra regressione logistica e percetrons
A quanto ho capito, una rete neurale artificiale perceptron / singolo strato con una funzione di attivazione sigmoidea logistica è lo stesso modello della regressione logistica. Entrambi i modelli sono dati dall'equazione: F( x ) = 11 - e- βXF(X)=11-e-βXF(x) = \frac{1}{1-e^{-\beta X}} L'algoritmo di apprendimento perctron è online e …
1
La statistica è una macchina ... citazione
Dovrò presentare un progetto ai non statistici in una prossima conferenza e vorrei includere una citazione che ho letto a un certo punto che fa il confronto tra le statistiche e una macchina che elabora il minerale. Il motivo è che voglio sottolineare una certa connessione tra le capacità della …
2
tendenza / stagionalità stocastica vs deterministica nella previsione di serie storiche
Ho un background moderato nella previsione delle serie storiche. Ho esaminato diversi libri di previsioni e non vedo le seguenti domande poste in nessuno di essi. Ho due domande: Come determinerei obiettivamente (tramite test statistico) se una determinata serie temporale ha: Stagionalità stocastica o stagionalità deterministica Tendenza stocastica o tendenza …
1
Significato di un avviso di convergenza in glmer
Sto usando la glmerfunzione dal lme4pacchetto in R, e sto usando l' bobyqaottimizzatore (cioè il valore predefinito nel mio caso). Ricevo un avviso e sono curioso di sapere cosa significhi. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust …
1
Allenare un campo casuale di Markov di base per classificare i pixel in un'immagine
Sto cercando di imparare come usare Markov Random Fields per segmentare le regioni in un'immagine. Non capisco alcuni dei parametri nell'MRF o perché la massimizzazione delle aspettative che eseguo non riesca a convergere in una soluzione a volte. A partire dal teorema di Bayes, ho p(x|y)=p(y|x)p(x)/p(y)p(x|y)=p(y|x)p(x)/p(y)p(x|y) = p(y|x) p(x) / …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.