La comunità di apprendimento automatico che abusa è "condizionata" e "parametrizzata da"?

Supponiamo che dipenda da . A rigor di termini, $X$ $\alpha$

se e sono entrambe variabili casuali, potremmo scrivere ; $X$ $\alpha$ $p(X\mid\alpha)$
tuttavia, se è una variabile casuale e è un parametro, dobbiamo scrivere . $X$ $\alpha$ $p(X; \alpha)$

Ho notato più volte che la comunità dell'apprendimento automatico sembra ignorare le differenze e abusare dei termini.

Ad esempio, nel famoso modello LDA, dove è il parametro Dirichlet anziché una variabile casuale. $\alpha$

inserisci qui la descrizione dell'immagine

Non dovrebbe essere ? Vedo molte persone, inclusi gli autori originali del documento LDA, che lo scrivono come . $p(\theta;\alpha)$ $p(\theta\mid\alpha)$

machine-learning terminology

— Sibbs Gioco d'azzardo
fonte

Matematicamente parlando, puoi sempre condizionare su una costante, poiché questo è un caso limitante di variabile casuale. Da un punto di vista bayesiano, tutte le incognite sono trattate come variabili casuali, quindi ha senso usare la notazione condizionata dappertutto.

— Xi'an,

@ Xi'an Capisco il tuo punto sul "condizionamento su una costante". Ma immagino di trarre

da una distribuzione categorica del parametro

, ovvero

. Posso scrivere la distribuzione come

? Mi sembra strano, dal momento che si può sempre impostare un

fisso .

sembra più comodo.

X

$X$

θ

$\theta$

X \sim C a t (θ)

$X\sim Cat(\theta)$

p (X ∣ θ)

$p(X\mid\theta)$

θ

$\theta$

p (X; θ)

$p(X;\theta)$

— Sibbs Gioco d'azzardo

Non vedo il problema scrivendo

in questo caso speciale. Ancora una volta, l'uso delle notazioni condizionali apre la strada all'introduzione di distribuzioni precedenti su ogni parametro sconosciuto.

p (X ∣ θ)

$p(X\mid\theta)$

— Xi'an,

Penso che si tratti più delle statistiche bayesiane / non bayesiane che delle statistiche di machine learning vs ...

Nelle statistiche bayesiane i parametri sono modellati anche come variabili casuali. Se si dispone di una distribuzione congiunta per , è una distribuzione condizionale, indipendentemente dall'interpretazione fisica di e . Se si considerano solo s fissi o altrimenti non si mette una distribuzione di probabilità su , i calcoli con sono esattamente gli stessi di $X,\alpha$ $p(X \mid \alpha)$ $X$ $\alpha$ $\alpha$ $\alpha$ $p(X; \alpha)$ con $p(X \mid \alpha)$ . Inoltre, si può in qualsiasi momento decidere di estendere il modello con valori fissi di a uno in cui esiste una distribuzione precedente su . Almeno per me, sembra strano che la notazione per la distribuzione data- cambi a questo punto, pertanto alcuni bayesiani preferiscono usare la notazione di condizionamento anche se non ci si è ancora preoccupati di definire tutti i parametri come variabili casuali . $p(\alpha)$ $\alpha$ $\alpha$ $\alpha$

Argomento sul fatto che si può scrivere come è anche sorto nei commenti del post del blog di Andrew Gelman equivoco il -value . Ad esempio, Larry Wasserman ha affermato che non è consentito quando non vi è alcun condizionamento dall'articolazione mentre Andrew Gelman ha espresso l'opinione opposta. $p(X ; \alpha)$ $p(X \mid \alpha)$ $p$ $\mid$

— Juho Kokkala
fonte