Statistiche e Big Data maximum-likelihood

2

Come faccio a sapere quale metodo di stima dei parametri scegliere?

Esistono diversi metodi per la stima dei parametri. MLE, UMVUE, MoM, teoria delle decisioni e altri sembrano tutti avere un caso abbastanza logico per cui sono utili per la stima dei parametri. Qualcuno di questi metodi è migliore degli altri o è solo una questione di come definiamo lo stimatore …

12 estimation mathematical-statistics maximum-likelihood method-of-moments umvue

1

Quali sono le condizioni di regolarità per il test del rapporto di verosimiglianza

Qualcuno potrebbe dirmi quali sono le condizioni di regolarità per la distribuzione asintotica del test del rapporto di verosimiglianza? Ovunque guardi, è scritto "Sotto le condizioni di regolarità" o "Sotto le regolarità probabilistiche". Quali sono esattamente le condizioni? Che esistano il primo e il secondo derivato di verosimiglianza e che …

12 maximum-likelihood likelihood-ratio asymptotics

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

4

Confronto tra la stima della massima verosimiglianza (MLE) e il teorema di Bayes

Nel teorema bayesiano, , e dal libro che sto leggendo, è chiamato il probabilità , ma presumo sia solo la probabilità condizionata di dato , giusto?p ( y| x)= p ( x | y) p ( y)p ( x )p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p ( x | y)p(x|y)p(x|y)yXxxyyy La stima della massima …

12 bayesian maximum-likelihood

4

Quanto dovrebbe essere grande un campione per una determinata tecnica e parametri di stima?

Esiste una regola empirica o addirittura un modo per dire quanto dovrebbe essere grande un campione per stimare un modello con un determinato numero di parametri? Quindi, per esempio, se voglio stimare una regressione dei minimi quadrati con 5 parametri, quanto dovrebbe essere grande il campione? Importa quale tecnica di …

12 sample-size estimation least-squares maximum-likelihood

4

Quanto è significativa la connessione tra MLE ed entropia incrociata nell'apprendimento profondo?

Capisco che, dato un insieme di osservazioni indipendenti lo stimatore della massima verosimiglianza (o, equivalentemente, il MAP con precedente piano / uniforme) che identifica i parametri \ mathbf {θ} che producono la distribuzione del modello p_ {modello} \ sinistra (\, \ cdot \,; \ mathbf {θ} \ destra) che corrisponderà …

12 maximum-likelihood deep-learning cross-entropy

1

Come capire che MLE of Variance è distorto in una distribuzione gaussiana?

Sto leggendo PRML e non capisco l'immagine. Potresti dare qualche suggerimento per capire il quadro e perché l'MLE della varianza in una distribuzione gaussiana è distorta? formula 1.55: formula 1.56 μMLE=1N∑n=1NxnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2MLE=1N∑n=1N(xn−μMLE)2σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

1

Stimatore di massima verosimiglianza - intervallo di confidenza

Come posso costruire un intervallo di confidenza asintotica per un parametro reale, a partire dalla MLE per quel parametro?

12 confidence-interval mathematical-statistics maximum-likelihood inference

1

MLE per la distribuzione triangolare?

È possibile applicare la normale procedura MLE alla distribuzione triangolare? - Ci sto provando ma mi sembra di essere bloccato in un passo o nell'altro in matematica dal modo in cui è definita la distribuzione. Sto cercando di usare il fatto che conosco il numero di campioni sopra e sotto …

12 distributions mathematical-statistics maximum-likelihood triangular-distribution

1

Relazione tra Hessian Matrix e Covariance Matrix

Mentre sto studiando la stima della massima verosimiglianza, per dedurre la stima della massima verosimiglianza, dobbiamo conoscere la varianza. Per scoprire la varianza, ho bisogno di conoscere il Rao Lower Bound di Cramer, che assomiglia a una matrice hessiana con seconda derivazione sulla curvatura. Sono un po 'confuso per definire …

12 machine-learning mathematical-statistics maximum-likelihood data-mining

2

I parametri di massima verosimiglianza si discostano dalle distribuzioni posteriori

Ho una funzione di verosimiglianza per la probabilità dei miei dati dati alcuni parametri del modello , che vorrei stimare. Assumendo priori piatti sui parametri, la probabilità è proporzionale alla probabilità posteriore. Uso un metodo MCMC per provare questa probabilità.L (d| θ)L(d|θ)\mathcal{L}(d | \theta)dddθ ∈ RNθ∈RN\theta \in \mathbf{R}^N Osservando la …

11 bayesian maximum-likelihood optimization inference mcmc

4

Inferenza senza rischio: cosa significa?

Di recente sono venuto a conoscenza del fatto che i metodi "privi di probabilità" sono stati banditi in letteratura. Tuttavia, non sono chiaro su cosa significhi che un metodo di inferenza o ottimizzazione sia privo di probabilità . Nell'apprendimento automatico l'obiettivo è di solito massimizzare la probabilità di alcuni parametri …

11 machine-learning deep-learning maximum-likelihood generative-models abc

4

Perché i metodi di regressione Least-Squares e Maximum-Likelihood non sono equivalenti quando gli errori non sono normalmente distribuiti?

Il titolo dice tutto. Comprendo che i minimi quadrati e la massima verosimiglianza daranno lo stesso risultato per i coefficienti di regressione se gli errori del modello sono normalmente distribuiti. Ma cosa succede se gli errori non vengono normalmente distribuiti? Perché i due metodi non sono più equivalenti?

11 regression normal-distribution maximum-likelihood least-squares error

2

Perché la massima probabilità limitata produce una stima (imparziale) migliore della varianza?

Sto leggendo il documento teorico di Doug Bates sul pacchetto lme4 di R per capire meglio l'astuzia dei modelli misti, e ho trovato un risultato intrigante che mi piacerebbe capire meglio, sull'utilizzo di REML (Limite massima verosimiglianza) per stimare la varianza . Nella sezione 3.3 sul criterio REML, afferma che …

11 maximum-likelihood mixed-model unbiased-estimator hierarchical-bayesian reml

1

Interpretazione geometrica della stima della massima verosimiglianza

Stavo leggendo il libro The Identification Problem In Econometrics di Franklin M. Fisher, ed ero confuso dalla parte che dimostra l'identificazione visualizzando la funzione di verosimiglianza. Il problema potrebbe essere semplificato come: Per una regressione , dove , e sono i parametri. Supponiamo che abbia un coefficiente uguale a unità. …

11 mathematical-statistics maximum-likelihood geometry

Domande taggate «maximum-likelihood»