La voce di Wikipedia sulla probabilità sembra ambigua

Ho una semplice domanda per quanto riguarda "probabilità condizionale" e "probabilità". (Ho già esaminato questa domanda qui, ma inutilmente.)

Si parte dalla pagina di Wikipedia sulla probabilità . Dicono questo:

La probabilità di un insieme di valori di parametro, $\theta$ , dati gli esiti $x$ , è uguale alla probabilità di quegli esiti osservati dati quei valori di parametro, cioè

$$\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$

Grande! Quindi, in inglese, leggo questo come: "La probabilità di parametri uguali a theta, dati X = x, (lato sinistro), è uguale alla probabilità che i dati X siano uguali a x, dato che i parametri sono uguali a theta ". (Il grassetto è mio per l'enfasi ).

Tuttavia, non meno di 3 righe più tardi sulla stessa pagina, la voce di Wikipedia continua dicendo:

Sia $X$ una variabile casuale con una distribuzione di probabilità discreta $p$ seconda di un parametro $\theta$ . Quindi la funzione

$$\mathcal{L}(\theta \mid x) = p_\theta (x) = P_\theta (X=x), \,$$

considerata come una funzione di $\theta$ , è chiamata funzione di verosimiglianza (di $\theta$ , dato l'esito $x$ della variabile casuale $X$ ). A volte la probabilità del valore $x$ di $X$ per il valore del parametro $\theta$ è scritta come $P(X=x\mid\theta)$ ; spesso scritto come $P(X=x;\theta)$ per sottolineare che questo differisce da $\mathcal{L}(\theta \mid x)$che non è una probabilità condizionale , perché $\theta$ è un parametro e non una variabile casuale.

(Il grassetto è mio per l'enfasi ). Quindi, nella prima citazione, ci viene letteralmente detto di una probabilità condizionale di $P(x\mid\theta)$ , ma subito dopo, ci viene detto che questa NON è in realtà una probabilità condizionale, e in realtà dovrebbe essere scritta come $P(X = x; \theta)$ ?

Quindi, quale è è? La probabilità connota effettivamente una probabilità condizionata alla prima citazione? O connota una probabilità semplice per la seconda citazione?

MODIFICARE:

Sulla base di tutte le risposte utili e perspicaci che ho ricevuto finora, ho riassunto la mia domanda e la mia comprensione finora:

• In inglese , diciamo che: "La probabilità è una funzione dei parametri, DATI i dati osservati". In matematica , lo scriviamo come: .$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x)$
• La probabilità non è una probabilità.
• La probabilità non è una distribuzione di probabilità.
• La probabilità non è una massa di probabilità.
• La probabilità è tuttavia, in inglese : "Un prodotto di distribuzioni di probabilità, (caso continuo), o un prodotto di masse di probabilità, (caso discreto), dove , e parametrizzato da Θ = θ ." In matematica , quindi, lo scriviamo come tale: L ( Θ = θ ∣ X = x ) = f ( X = x ; Θ = θ ) (caso continuo, dove f è un PDF), e come L ( Θ$\mathbf{X} = x$$\mathbf{\Theta}= \theta$$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = f(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$f$
  (caso discreto, dove P è una massa di probabilità). L'aspetto da asporto qui è chein nessun punto quic'è una probabilità condizionata che entri in gioco.$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = P(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$P$
• Nel teorema di Bayes abbiamo: . Colloquialmente, ci viene detto che "P(X=x∣Θ=θ)è una probabilità", tuttavia,ciò non è vero, poichéΘpotrebbe essere una variabile casuale effettiva. Pertanto, ciò che possiamo dire correttamente, tuttavia, è che questo termineP(X=x∣Θ=θ)è semplicemente "simile" a una probabilità. (?) [Su questo non sono sicuro.]$P(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = \frac{P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta) \ P(\mathbf{\Theta}= \theta)}{P(\mathbf{X}=x)}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$$\mathbf{\Theta}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$

EDIT II:

Sulla base della risposta di @amoebas, ho disegnato il suo ultimo commento. Penso che sia abbastanza chiarente, e penso che chiarisca la tesi principale che stavo avendo. (Commenti sull'immagine).

EDIT III:

Ho esteso i commenti di @amoebas anche al caso bayesiano proprio ora:

Penso che questo sia in gran parte inutile spaccare i capelli.

Probabilità condizionata di x in y è definito per due variabili casuali X e Y assumono valori x ed y . Ma possiamo anche parlare della probabilità P ( x ∣ θ ) di x dato θ dove θ non è una variabile casuale ma un parametro.$P(x\mid y)\equiv P(X=x \mid Y=y)$$x$$y$$X$$Y$$x$$y$$P(x\mid\theta)$$x$$\theta$$\theta$

Si noti che in entrambi i casi è possibile utilizzare lo stesso termine "dato" e la stessa notazione . Non è necessario inventare notazioni diverse. Inoltre, ciò che viene chiamato "parametro" e ciò che viene chiamato "variabile casuale" può dipendere dalla tua filosofia, ma la matematica non cambia.$P(\cdot\mid\cdot)$

La prima citazione di Wikipedia afferma che per definizione. Qui si presume che θ sia un parametro. La seconda citazione dice che L ( θ ∣ x ) non è una probabilità condizionale. Ciò significa che non è una probabilità condizionata di θ dato x ; e in effetti non può essere, perché θ si presume che sia un parametro qui.$\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$\theta$$\mathcal{L}(\theta \mid x)$$\theta$$x$$\theta$

Nel contesto del teorema di Bayes siaachebsono variabili casuali. Ma possiamo ancora chiamareP(b∣a)"verosimiglianza" (dia), e ora è anche unaprobabilità condizionalein buona fede(dib). Questa terminologia è standard nelle statistiche bayesiane. Nessuno dice che sia qualcosa di "simile" alla probabilità; la gente semplicemente lo chiama la probabilità.

Nota 1: Nell'ultimo paragrafo, è ovviamente una probabilità condizionata di b . Come probabilità L ( a ∣ b ) è vista come una funzione di a ; ma non è una distribuzione di probabilità (o probabilità condizionata) di a ! Il suo integrale su a non è necessariamente uguale a 1 . (Considerando che il suo integrale sopra b lo fa.)$P(b\mid a)$$b$$\mathcal L(a\mid b)$$a$$a$$a$$1$$b$

Nota 2: a volte la probabilità è definita fino a una costante di proporzionalità arbitraria, come sottolineato da @MichaelLew (perché la maggior parte delle volte le persone sono interessate ai rapporti di verosimiglianza ). Questo può essere utile, ma non è sempre fatto e non è essenziale.

Vedi anche Qual è la differenza tra "verosimiglianza" e "probabilità"? e in particolare la risposta di @ Whuber lì.

Sono pienamente d'accordo con la risposta di @ Tim anche in questa discussione (+1).

Hai già ricevuto due belle risposte, ma dato che sembra ancora poco chiaro, lascia che te ne fornisca una. La verosimiglianza è definita come

quindi abbiamo probabilità di un certo valore del parametro dato i dati X . È uguale al prodotto delle funzioni di massa di probabilità (caso discreto) o densità (caso continuo) f di X parametrizzato da θ . La probabilità è una funzione del parametro dato i dati. Si noti che θ è un parametro che stiamo ottimizzando, non una variabile casuale, quindi non ha alcuna probabilità assegnata ad esso. Questo è il motivo per cui Wikipedia afferma che l'uso della notazione di probabilità condizionale può essere ambiguo, dal momento che non stiamo condizionando alcuna variabile casuale. D'altra parte, nell'impostazione bayesiana θ è$\theta$ $X$$f$$X$$\theta$$\theta$$\theta$ una variabile casuale e ha distribuzione, quindi possiamo lavorare con essa come con qualsiasi altra variabile casuale e possiamo usare il teorema di Bayes per calcolare le probabilità posteriori. La probabilità bayesiana è ancora verosimile poiché ci dice della verosimiglianza dei dati dato il parametro, l'unica differenza è che il parametro è considerato come variabile casuale.

Se conosci la programmazione, puoi pensare alla funzione di probabilità come alla funzione di sovraccarico nella programmazione. Alcuni linguaggi di programmazione consentono di avere una funzione che funziona in modo diverso quando viene chiamata utilizzando diversi tipi di parametri. Se si pensa alla probabilità in questo modo, per impostazione predefinita se si assume come argomento un valore di parametro e si restituisce la probabilità di dati dati questo parametro. D'altra parte, è possibile utilizzare tale funzione nell'impostazione bayesiana, in cui il parametro è una variabile casuale, ciò porta sostanzialmente allo stesso output, ma che può essere inteso come probabilità condizionale poiché stiamo condizionando una variabile casuale. In entrambi i casi la funzione funziona allo stesso modo, basta usarla e capirla in modo leggermente diverso.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

Inoltre, piuttosto non troverai Bayesiani che scrivono il teorema di Bayes come

... questo sarebbe molto confuso . Innanzitutto, avresti su entrambi i lati dell'equazione e non avrebbe molto senso. In secondo luogo, abbiamo una probabilità posteriore di conoscere la probabilità di θ dati dati (cioè la cosa che vorresti sapere nel quadro del verosimiglianza, ma non quando θ non è una variabile casuale). Terzo, poiché θ è una variabile casuale, la abbiamo e la scriviamo come probabilità condizionata. La $\theta|X$$\theta$$\theta$$\theta$$L$-notation is generally reserved for likelihoodist setting. The name likelihood is used by convention in both approaches to denote similar thing: how probability of observing such data changes given your model and the parameter.

There are several aspects of the common descriptions of likelihood that are imprecise or omit detail in a way that engenders confusion. The Wikipedia entry is a good example.

First, likelihood cannot be generally equal to a the probability of the data given the parameter value, as likelihood is only defined up to a proportionality constant. Fisher was explicit about that when he first formalised likelihood (Fisher, 1922). The reason for that seems to be the fact that there is no restraint on the integral (or sum) of a likelihood function, and the probability of observing data $x$ within a statistical model given any value of the parameter(s) is strongly affected by the precision of the data values and of the granularity of specification of the parameter values.

Second, it is more helpful to think about the likelihood function than individual likelihoods. The likelihood function is a function of the model parameter value(s), as is obvious from a graph of a likelihood function. Such a graph also makes it easy to see that the likelihoods allow a ranking of the various values of the parameter(s) according to how well the model predicts the data when set to those parameter values. Exploration of likelihood functions makes the roles of the data and the parameter values much more clear, in my opinion, than can cogitation of the various formulas given in the original question.

The use a ratio of pairs of likelihoods within a likelihood function as the relative degree of support offered by the observed data for the parameter values (within the model) gets around the problem of unknown proportionality constants because those constants cancel in the ratio. It is important to note that the constants would not necessarily cancel in a ratio of likelihoods that come from separate likelihood functions (i.e. from different statistical models).

Finally, it is useful to be explicit about the role of the statistical model because likelihoods are determined by the statistical model as well as the data. If you choose a different model you get a different likelihood function, and you can get a different unknown proportionality constant.

Thus, to answer the original question, likelihoods are not a probability of any sort. They do not obey Kolmogorov's axioms of probability, and they play a different role in statistical support of inference from the roles played by the various types of probability.

1. Fisher (1922) On the mathematical foundations of statistics http://rsta.royalsocietypublishing.org/content/222/594-604/309

Wikipedia avrebbe dovuto dirlo $L(\theta)$ non è una probabilità condizionale di $\theta$ essere in un set specificato, né una densità di probabilità di $\theta$. Anzi, se ci sono infiniti valori di$\theta$ nello spazio dei parametri, puoi avere

"I read this as: "The likelihood of parameters equaling theta, given data X = x, (the left-hand-side), is equal to the probability of the data X being equal to x, given that the parameters are equal to theta". (Bold is mine for emphasis)."

It's the probability of the set of observations given the parameter is theta. This is perhaps confusing because they write $P(x|\theta)$ but then $\mathcal{L}(\theta|x)$.

The explanation (somewhat objectively) implies that $\theta$ is not a random variable. It could, for example, be a random variable with some prior distribution in a Bayesian setting. The point however, is that we suppose $\theta=\theta$, a concrete value and then make statements about the likelihood of our observations. This is because there is only one true value of $\theta$ in whatever system we're interested in.