Domande sul principio di verosimiglianza


17

Attualmente cerco di capire il principio di verosimiglianza e sinceramente non lo capisco affatto. Quindi, scriverò tutte le mie domande come un elenco, anche se quelle potrebbero essere domande piuttosto elementari.

  • Cosa significa esattamente "tutte le informazioni" nel contesto di questo principio? (come in tutte le informazioni in un campione è contenuto nella funzione di verosimiglianza.)
  • Il principio è in qualche modo collegato al fatto molto dimostrabile, che ? La "verosimiglianza" nel principio è la stessa cosa, come p ( y | x ) o no?p(x|y)p(y|x)p(x)p(y|x)
  • Come può un teorema matematico essere "controverso"? La mia (debole) comprensione della matematica è che un teorema è o provato o non provato. A quale categoria appartiene il principio di verosimiglianza?
  • In che modo il principio di verosimiglianza è importante per l'inferenza bayesiana, che si basa sulla formula ?p(x|y)p(y|x)p(x)

Karel, per favore dai un'occhiata: ime.usp.br/~pmarques/papers/redux.pdf
Zen

Vedi anche il sito di Greg Gandenberger: gandenberger.org
Michael Lew - ripristina Monica il

Risposte:


10

Il principio di probabilità è stato affermato in molti modi diversi, con significato e intelligibilità variabili. Il libro di AWF Edwards Likelihood è un'eccellente introduzione a molti aspetti della probabilità e ancora in stampa. Ecco come Edwards definisce il principio di verosimiglianza:

"Nel quadro di un modello statistico, tutte le informazioni fornite dai dati riguardanti i meriti relativi di due ipotesi sono contenute nel rapporto di verosimiglianza di tali ipotesi." (Edwards 1972, 1992 p. 30)

Quindi ora alle risposte.

  1. "Tutte le informazioni nel campione", come citi, sono semplicemente un'espressione inadeguata della parte rilevante del principio di verosimiglianza. Edwards lo dice molto meglio: il modello è importante e le informazioni rilevanti sono le informazioni relative ai meriti relativi delle ipotesi. È utile notare che il rapporto di probabilità ha senso solo quando le ipotesi in questione provengono dallo stesso modello statistico e si escludono a vicenda. In effetti, devono essere punti sulla stessa funzione di probabilità affinché il rapporto sia utile.

  2. Il principio di probabilità è legato al teorema di Bayes, come puoi vedere, ma è dimostrabile senza riferimento al teorema di Bayes. Sì, p (x | y) è (proporzionale a) una probabilità fintanto che x sono dati e y è un'ipotesi (che potrebbe essere solo un valore di parametro ipotizzato).

  3. Il principio di probabilità è controverso perché la sua prova è stata contestata. A mio avviso, i disproofs sono difettosi, ma è comunque controverso. (A un livello diverso, si può dire che il principio di verosimiglianza è controverso perché implica che i metodi frequentistici per l'inferenza sono in qualche modo difettosi. Ad alcune persone non piace.) Il principio di verosimiglianza è stato provato, ma il suo scopo di la pertinenza può essere più limitata di quanto i suoi critici possano immaginare.

  4. Il principio di verosimiglianza è importante per i metodi bayesiani perché i dati entrano nell'equazione di Bayes tramite le verosimiglianze. La maggior parte dei metodi bayesiani è conforme al principio di verosimiglianza, ma non tutti. Alcune persone, come Edwards e Royall, sostengono che le inferenze possono essere fatte sulla base delle funzioni di verosimiglianza senza l'uso del teorema di Bayes, "pura inferenza di verosimiglianza". Anche questo è controverso. In effetti, è probabilmente più controverso del principio di verosimiglianza perché i bayesiani tendono a concordare con i frequentatori che i metodi di verosimiglianza pura sono inappropriati. (Il nemico del mio nemico ...)


"È utile notare che il rapporto di verosimiglianza ha senso solo quando le ipotesi in questione provengono dallo stesso modello statistico" - che cosa significa esattamente? Sembra che tu stia dicendo che non puoi confrontare modelli di diverse famiglie di distribuzioni, che non è così.
Scortchi - Ripristina Monica

Poiché le probabilità sono solo proporzionali a * p * (x | y) c'è sempre una costante di proporzionalità sconosciuta. Diversi modelli statistici consentono costanti di proporzionalità diverse e quindi le probabilità possono essere incommensurabili.
Michael Lew - ripristina Monica il

A volte possono essere organizzati modelli diversi per produrre una singola funzione di verosimiglianza (spesso multidimensionale) in modo che le verosimiglianze possano essere sensibilmente confrontate, ma ciò non è sempre possibile.
Michael Lew - ripristina Monica il

1
Forse mi manca qualche sottigliezza, ma la mia comprensione è che non ci sono costanti sconosciute in una probabilità, solo costanti che si annullano quando si calcola il rapporto di probabilità per i modelli della stessa famiglia, e quindi vengono ignorati. Comunque: per i datiX e qualsiasi densità f & g con parametri θ & φ, Chiamerei la statistica
f(X;θ^)g(X;φ^)
un rapporto di verosimiglianza; e può essere usato per deduzione.
Scortchi - Ripristina Monica

1
Vedi Cox (1961), Test di famiglie separate di ipotesi, Proc. 4th Berkeley Symp. sulla matematica. Statist. e Prob. 1 . Naturalmente il teorema di Wilks non si applica, quindi il doppio del suo logaritmo non è distribuito comeχ2.
Scortchi - Ripristina Monica
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.