Come derivare la funzione di probabilità per la distribuzione binomiale per la stima dei parametri?

22

Secondo la probabilità e le statistiche di Miller e Freund per gli ingegneri, 8ed (pp.217-218), la funzione di probabilità da massimizzare per la distribuzione binomiale (prove di Bernoulli) è data come

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Come arrivare a questa equazione? Mi sembra abbastanza chiaro per quanto riguarda le altre distribuzioni, Poisson e Gaussian;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Ma quello per il binomio è solo un po 'diverso. Per essere diretto, come ha fatto

$nC_x~p^x(1-p)^{n-x}$

diventare

$p^{x_i}(1-p)^{1-x_i}$

nella funzione di verosimiglianza sopra?

— Ébe Isaac
fonte

25

Nella stima della massima verosimiglianza, stai cercando di massimizzare $nC_x~p^x(1-p)^{n-x}$ ; tuttavia, massimizzare questo equivale a massimizzare $p^x(1-p)^{n-x}$ per una fissa $x$ .

In realtà, anche la probabilità per il gaussiano e il poisson non coinvolge le loro costanti principali, quindi questo caso è proprio come quelli come w

Affrontare i commenti OP

Ecco un po 'più di dettaglio:

Innanzitutto, è il numero totale di successi mentre è una singola prova (0 o 1). Perciò: $x$ $x_i$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} = p^{\sum_{1}^{n} x_{i}} (1 - p)^{\sum_{1}^{n} 1 - x_{i}} = p^{x} (1 - p)^{n - x}

$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$

Ciò mostra come ottenere i fattori nella probabilità (eseguendo i passaggi precedenti all'indietro).

Perché la costante scompare? Informalmente, e ciò che la maggior parte delle persone fa (incluso me), è solo notare che la costante principale non influenza il valore di che massimizza la probabilità, quindi la ignoriamo (impostandola effettivamente su 1). $p$

Possiamo ricavarlo prendendo il registro della funzione di verosimiglianza e trovando dove la sua derivata è zero:

\ln (n C_{x} p^{x} (1 - p)^{n - x}) = \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p)

$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$

Prendi la derivata wrt e imposta su : $p$ $0$

\frac{d}{d p} \ln (n C_{X}) + X \ln (p) + (n - X) \ln (1 - p) = \frac{X}{p} - \frac{n - X}{1 - p} = 0

$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$

⟹ \frac{n}{X} = \frac{1}{p} ⟹ p = \frac{X}{n}

$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$

Si noti che la costante principale è stata esclusa dal calcolo dell'MLE.

$L_1,L_2$ $L_1=kL_2$ $p$

A livello pratico, l'inferenza che utilizza la funzione di verosimiglianza si basa in realtà sul rapporto di verosimiglianza, non sul valore assoluto della verosimiglianza. Ciò è dovuto alla teoria asintotica dei rapporti di probabilità (che sono asintoticamente chi-quadrati - soggetti a determinate condizioni di regolarità che sono spesso appropriate). I test del rapporto di verosimiglianza sono favoriti a causa del Lemma di Neyman-Pearson . Pertanto, quando proviamo a testare due semplici ipotesi, prenderemo il rapporto e il fattore principale comune verrà annullato.

NOTA: questo non accadrà se si confrontassero due modelli diversi, diciamo un binomio e un poisson. In tal caso, le costanti sono importanti.

Tra i motivi di cui sopra, il primo (irrilevanza nel trovare il massimizzatore di L) risponde più direttamente alla tua domanda.

2

n C_{x}

$nC_x$

n

$n$

@ ÉbeIsaac ha aggiunto alcuni dettagli

2

xi nel prodotto si riferisce a ogni singola prova. Per ogni singola prova xi può essere 0 o 1 e n è sempre uguale a 1. Pertanto, banalmente, il coefficiente binomiale sarà uguale a 1. Quindi, nella formula del prodotto per probabilità, il prodotto dei coefficienti binomiali sarà 1 e quindi non c'è nCx nella formula. Realizzato questo mentre lo risolvo passo dopo passo :) (Mi dispiace per la formattazione, non abituato a rispondere con espressioni matematiche nelle risposte ... ancora :))

— Abhishek Tiwari
fonte