Cosa significa in pratica "probabilità definita solo fino a una costante moltiplicativa di proporzionalità"?

Sto leggendo un articolo in cui gli autori stanno conducendo una discussione sulla stima della massima verosimiglianza con il Teorema di Bayes, apparentemente come un'introduzione per i principianti.

Come esempio di probabilità, iniziano con una distribuzione binomiale:

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

e quindi registrare entrambi i lati

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

con la logica che:

"Poiché la probabilità è definita solo fino a una costante moltiplicativa di proporzionalità (o una costante additiva per la probabilità logaritmica), possiamo ridimensionare ... lasciando cadere il coefficiente binomiale e scrivendo la verosimiglianza logaritmica al posto della verosimiglianza"

La matematica ha senso, ma non riesco a capire cosa si intende per "la probabilità è definita solo fino a una costante moltiplicativa di proporzionalità" e come ciò consente di eliminare il coefficiente binomiale e di passare da $p(x|n,\theta)$ a $\ell(\theta|x,n)$ .

Una terminologia simile è emersa in altre domande ( qui e qui ), ma non è ancora chiaro cosa, in pratica, la probabilità che venga definita o che porti l'informazione a una costante moltiplicativa significhi. È possibile spiegarlo in parole povere?

Il punto è che a volte diversi modelli (per gli stessi dati) possono portare a funzioni di verosimiglianza che differiscono per una costante moltiplicativa, ma il contenuto delle informazioni deve essere chiaramente lo stesso. Un esempio:

Modelliamo esperimenti indipendenti di Bernoulli, portando a dati , ciascuno con una distribuzione di Bernoulli con parametro (probabilità) . Questo porta alla funzione di verosimiglianza Oppure possiamo riassumere i dati con la variabile distribuita binomialmente , che ha una distribuzione binomiale, che porta alla funzione di verosimiglianza che, in funzione del parametro sconosciuto , è proporzionale alla precedente funzione di verosimiglianza . Le due funzioni di probabilità contengono chiaramente le stesse informazioni e dovrebbero portare alle stesse inferenze!$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

E in effetti, per definizione, sono considerati la stessa funzione di probabilità.

Un altro punto di vista: osservare che quando le funzioni di probabilità sono utilizzate nel teorema di Bayes, come necessario per l'analisi bayesiana, tali costanti moltiplicative semplicemente si annullano! quindi sono chiaramente irrilevanti per l'inferenza bayesiana. Allo stesso modo, si annullerà quando si calcolano i rapporti di probabilità, come usato nei test di ipotesi ottimali (lemma di Neyman-Pearson.) E non avrà alcuna influenza sul valore degli stimatori della massima verosimiglianza. Quindi possiamo vedere che in gran parte dell'inferenza frequentista non può svolgere un ruolo.

Possiamo discutere da ancora un altro punto di vista. La funzione di probabilità di Bernoulli (di seguito usiamo il termine "densità") sopra è in realtà una densità rispetto alla misura di conteggio, cioè la misura sugli interi non negativi con una massa per ogni intero non negativo. Ma avremmo potuto definire una densità rispetto ad altre misure dominanti. In questo esempio questo sembrerà (ed è) artificiale, ma in spazi più ampi (spazi funzionali) è davvero fondamentale! Usiamo, a scopo illustrativo, la distribuzione geometrica specifica, scritta , con , , e presto. Quindi la densità della distribuzione di Bernoulli rispetto a$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$$\lambda$f λ ( x ) = p x ( 1 - p ) 1 - x ⋅ 2 x + 1 P ( X = x ) = f λ ( x ) ⋅ λè dato da che significa che Con questa nuova misura dominante, la funzione di verosimiglianza diventa (con notazione dall'alto) annota il fattore aggiuntivo . Pertanto, quando si modifica la misura dominante utilizzata nella definizione della funzione di probabilità, sorge una nuova costante moltiplicativa, che non dipende dal parametro sconosciuto

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$ed è chiaramente irrilevante. Questo è un altro modo per vedere come le costanti moltiplicative debbano essere irrilevanti. Questo argomento può essere generalizzato usando i derivati ​​Radon-Nikodym (come l'argomento sopra è un esempio di.)

Fondamentalmente significa che conta solo il valore relativo del PDF. Ad esempio, il normale PDF (gaussiano) standard è: , il tuo libro dice che potrebbero usare invece, perché non si occupano della scala, ovvero .g(x)=e-x2/2c=$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

Ciò accade perché massimizzano la funzione di probabilità e e avranno lo stesso massimo. Quindi, il massimo di sarà lo stesso di . Quindi, non si preoccupano della scala.g ( x ) e - x 2 / 2 f ( x $c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

Non posso spiegare il significato della citazione, ma per la stima della massima verosimiglianza , non importa se scegliamo di trovare il massimo della funzione di verosimiglianza (considerata come una funzione di o del massimo di dove è una costante. Questo perché non siamo interessati al valore massimo di ma piuttosto al valore dove si verifica questo massimo e sia che raggiungono il loro valore massimo allo stesso θ a L ( x ; θ ) a L ( x ; θ ) θ ML L ( x ; θ ) $L(\mathbf x; \theta)$$\theta$$aL(\mathbf x; \theta)$$a$$L(\mathbf x; \theta)$$\theta_{\text{ML}}$$L(\mathbf x; \theta)$θ ML g ( ⋅ ) L ( x ; θ ) g ( L ( x ; θ ) ) θ ML a $aL(\mathbf x; \theta)$$\theta_{\text{ML}}$. Pertanto, le costanti moltiplicative possono essere ignorate. Allo stesso modo, potremmo scegliere di considerare qualsiasi funzione monotona (come il logaritmo) della funzione di verosimiglianza , determinare il massimo di e dedurre il valore di da questo. Per il logaritmo, la costante moltiplicativa diventa la costante additiva e anche questo può essere ignorato nel processo di ricerca della posizione del massimo: è massimizzato nello stesso punto di .$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$ln ( a ) + ln ( L ( x ; θ ) ln ( L ( x ; θ $\ln(a)$$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

Passando alla stima della massima probabilità a posteriori (MAP), è considerata come la realizzazione di una variabile casuale con funzione di densità a priori , i dati sono considerati come una realizzazione di una variabile casuale e la funzione di verosimiglianza è considerata il valore della densità condizionale di condizionata su ; detta funzione di densità condizionale viene valutata in . IlΘ f Θ ( θ ) x X f X ∣ Θ ( x ∣ Θ = θ ) X Θ = θ x Θ f Θ ∣ X ( θ ∣ x ) = f X ∣ Θ ( x ∣ Θ = θ ) f Θ ( θ $\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$$\mathbf x$la densità a posteriori di è in cui riconosciamo il numeratore come densità del giunto dei dati e del parametro da stimare. Il punto dove raggiunge il suo valore massimo è la stima MAP di e, usando gli stessi argomenti di nel paragrafo, vediamo che possiamo ignorare sul lato destro di$\Theta$

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$$(1)$come costante moltiplicativa così come possiamo ignorare le costanti moltiplicative sia in che in . Allo stesso modo quando vengono utilizzate le probabilità logaritmiche, possiamo ignorare le costanti additive.$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

In parole povere, cercherai spesso la massima verosimiglianza e e condividono gli stessi punti critici.$f(x)$$kf(x)$

Suggerirei di non lasciare alla vista termini costanti nella funzione di verosimiglianza (ovvero termini che non includono i parametri). In circostanze normali, non influiscono sul della probabilità, come già accennato. Ma: $\text {argmax}$

Potrebbero esserci circostanze insolite in cui dovrai massimizzare la probabilità soggetta a un limite massimo e quindi dovresti "ricordare" di includere eventuali costanti nel calcolo del suo valore.

Inoltre, è possibile che si stiano eseguendo test di selezione dei modelli per modelli non nidificati, utilizzando il valore della probabilità nel processo, e poiché i modelli non sono nidificati, le due probabilità avranno costanti diverse.

A parte questi, la frase

"Perché la probabilità è definita solo fino a una costante moltiplicativa di proporzionalità (o una costante additiva per la probabilità logaritmica)"

è sbagliato , perché la probabilità è innanzitutto una funzione di densità di probabilità congiunta , non solo "qualsiasi" funzione oggettiva da massimizzare.