Motivazione teorica per l'utilizzo della verosimiglianza vs verosimiglianza

Sto cercando di comprendere a un livello più profondo l'ubiquità della verosimiglianza (e forse più in generale della verosimiglianza) nella statistica e nella teoria delle probabilità. Le probabilità di log si manifestano ovunque: di solito lavoriamo con la verosimiglianza per analisi (ad es. Per massimizzare), le informazioni di Fisher sono definite in termini della seconda derivata della verosimiglianza, l'entropia è una log-probabilità attesa , La divergenza di Kullback-Liebler comporta probabilità di log, la divergenza attesa è una probabilità di log prevista, ecc.

Ora apprezzo le molte ragioni pratiche e convenienti . Molti pdf comuni e utili provengono da famiglie esponenziali, il che porta a termini elegantemente semplificati quando viene trasformato il registro. Le somme sono più facili da lavorare rispetto ai prodotti (specialmente per la differenziazione). I pro-log hanno un grande vantaggio in virgola mobile rispetto ai pro-dritti. La trasformazione del registro di un pdf spesso converte una funzione non concava in una funzione concava. Ma qual è la ragione / giustificazione / motivazione teorica per i log-probs?

Come esempio della mia perplessità, considera le informazioni di Fisher (FI). La solita spiegazione per intuire l'IF è che la seconda derivata della verosimiglianza ci dice quanto sia "picco" la somiglianza dei log: una verosimiglianza molto elevata significa che l'MLE è ben specificato e siamo relativamente sicuri del suo valore , mentre una log-like quasi piatta (bassa curvatura) significa che molti valori di parametri diversi sono quasi buoni (in termini di probabilità logaritmica) come l'MLE, quindi il nostro MLE è più incerto.

Tutto questo va bene, ma non è più naturale trovare la curvatura della funzione di probabilità stessa (NON trasformata in tronchi)? A prima vista l'enfasi sulla trasformazione del log sembra arbitraria e sbagliata. Sicuramente siamo più interessati alla curvatura dell'attuale funzione di verosimiglianza. Qual è stata la motivazione di Fisher a lavorare con la funzione score e con l'Assia della probabilità logaritmica?

La risposta è semplicemente che, alla fine, abbiamo dei bei risultati dalla probabilità di log asintoticamente? Ad esempio, Cramer-Rao e normalità del MLE / posteriore. O c'è una ragione più profonda?

È davvero solo una comodità per la responsabilità, niente di più.

Intendo la convenienza delle somme rispetto ai prodotti: , le somme sono più facili da gestire sotto molti aspetti, come la differenziazione o l'integrazione. Non è una comodità solo per famiglie esponenziali, sto cercando di dire.$\ln (\prod_i x_i) =\sum_i\ln x_i$

Quando si ha a che fare con un campione casuale, le probabilità sono nella forma: , quindi la responsabilità romperebbe invece questo prodotto nella somma, che è più facile da manipolare e analizzare. Aiuta che tutto ciò che ci interessa è il punto del massimo, il valore al massimo non è importante, se possiamo applicare qualsiasi trasformazione monotona come il logaritmo.$\mathrm{L}=\prod_ip_i$

Sull'intuizione della curvatura. Alla fine è praticamente la stessa cosa del secondo derivato del loglikelihood.

AGGIORNAMENTO: Questo è ciò che intendevo per curvatura. Se hai una funzione , la sua curvatura sarebbe ( vedi (14) su Wolfram): κ = f ″ ( x $y=f(x)$

La seconda derivata della verosimiglianza logaritmica:

Nel punto del massimo, la prima derivata è ovviamente zero, quindi otteniamo: Quindi, la mia battuta è che la curvatura della probabilità e la seconda derivata del loglikelihood è la stessa cosa, in un certo senso.

D'altra parte, se la prima derivata della verosimiglianza è piccola non solo in ma attorno al punto del massimo, ovvero la funzione di verosimiglianza è piatta, allora otteniamo: Ora la verosimiglianza piatta non è una buona cosa per noi, perché rende più difficile trovare il massimo numericamente e la massima probabilità non è migliore di altri punti attorno ad esso, vale a dire che gli errori di stima dei parametri sono alti.

E ancora, abbiamo ancora la curvatura e la seconda relazione derivata. Quindi perché Fisher non ha osservato la curvatura della funzione di probabilità? Penso che sia per lo stesso motivo di convenienza. È più facile manipolare la responsabilità a causa delle somme invece del prodotto. Quindi, ha potuto studiare la curvatura della probabilità analizzando la seconda derivata del loglikelihood. Sebbene l'equazione appaia molto semplice per la curvatura , in realtà stai prendendo una seconda derivata del prodotto, che è più caotica della somma delle seconde derivate.$\kappa_{max}=f''(x_{max})$

AGGIORNAMENTO 2:

Ecco una dimostrazione. Traccio una funzione di verosimiglianza (completamente inventata), la sua a) curvatura eb) la seconda derivata del suo registro. Sul lato sinistro si vede la probabilità stretta e sul lato destro è largo. Vedi come al punto della massima verosimiglianza a) eb) convergono, come dovrebbero. Ancora più importante, tuttavia, è possibile studiare l'ampiezza (o la planarità) della funzione di verosimiglianza esaminando la seconda derivata della sua verosimiglianza. Come ho scritto prima, quest'ultimo è tecnicamente più semplice del primo da analizzare.

La seconda derivata non sorprendentemente più profonda dei segnali di loglikelihood appiattisce la funzione di verosimiglianza attorno al suo massimo, che non è desiderato perché causa un errore di stima dei parametri maggiore.

Codice MATLAB nel caso in cui si desideri riprodurre i grafici:

f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);

h = 0.1;
x=-10:h:10;

% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])

% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])

AGGIORNAMENTO 3:

Nel codice sopra ho inserito una funzione arbitraria a forma di campana nell'equazione di curvatura, quindi ho calcolato la seconda derivata del suo registro. Non ho ridimensionato nulla, i valori sono direttamente dalle equazioni per mostrare l'equivalenza che ho menzionato in precedenza.

Ecco il primo documento sulla probabilità che Fisher abbia pubblicato mentre era ancora all'università, "On an Absolute Criterion for Fitting Frequency Curves", Messenger of Mathmatics, 41: 155-160 (1912)

$\log P'=\sum_1^n\log p$

Una cosa da notare quando ha letto il documento ha iniziato solo con il lavoro di stima della massima verosimiglianza e ha svolto più lavoro nei successivi 10 anni, quindi anche il termine MLE non è stato ancora coniato, per quanto ne so.

Punto aggiuntivo . Alcune delle distribuzioni di probabilità comunemente usate (compresa la distribuzione normale, la distribuzione esponenziale, la distribuzione di Laplace, solo per citarne alcuni) sono log-concava . Ciò significa che il loro logaritmo è concavo. Ciò rende la massimizzazione della probabilità del log molto più semplice rispetto alla massimizzazione della probabilità originale (che è particolarmente utile nella massima probabilità o nei metodi a-posteriori massimi). Per fare un esempio, l'uso del metodo di Newton per massimizzare direttamente una distribuzione gaussiana multivariata può compiere molti passaggi mentre la massimizzazione di un paraboloide (il registro della distribuzione gaussiana multivariata) richiede esattamente un passo.

L'importanza teorica della verosimiglianza può essere vista da (almeno) due prospettive: la teoria della verosimiglianza asintotica e la teoria dell'informazione.

La prima di queste (credo) è la teoria asintotica della verosimiglianza. Penso che la teoria dell'informazione sia iniziata bene dopo che Fisher ha stabilito la massima probabilità sul suo corso verso il dominio del 20 ° secolo.

Nella teoria della verosimiglianza, una verosimiglianza parabolica ha un posto centrale nell'inferenza. Lucien Le Cam ha svolto un ruolo importante nel chiarire l' importanza della verosimiglianza quadratica nella teoria asintotica.

Quando si ha una probabilità logaritmica quadratica, non solo la curvatura sull'MLE indica qualitativamente quanto precisamente è possibile stimare il parametro, ma sappiamo anche che l'errore viene normalmente distribuito con una varianza uguale al reciproco della curvatura. Quando la probabilità di log è approssimativamente quadratica, allora diciamo che questi risultati valgono approssimativamente o asintoticamente.

Un secondo motivo è la rilevanza della verosimiglianza (o log-probabilità) nella teoria dell'informazione , dove è la quantità principale utilizzata per misurare il contenuto dell'informazione.

$g$$g$$f(\theta)$$f(\hat{\theta})$$\hat{\theta}$

$\ln \hat{L}$

Quindi, la verosimiglianza, oltre ad essere un'utile trasformazione numerica, ha profondi legami con l'inferenza e la teoria dell'informazione.

TLDR: è molto più facile ricavare somme rispetto ai prodotti, perché l'operatore derivato è lineare con la somma ma con il prodotto devi fare la regola del prodotto. È complessità lineare rispetto a qualche complessità polinomiale di ordine superiore