Stima dei parametri della distribuzione t di Student

23

Quali sono gli stimatori della massima verosimiglianza per i parametri della distribuzione t di Student? Esistono in forma chiusa? Una rapida ricerca su Google non mi ha dato alcun risultato.

Oggi sono interessato al caso univariato, ma probabilmente dovrò estendere il modello a più dimensioni.

EDIT: In realtà sono principalmente interessato alla posizione e ai parametri di scala. Per ora posso supporre che il parametro dei gradi di libertà sia fisso e possibilmente usare qualche schema numerico per trovare il valore ottimale in un secondo momento.

estimation maximum-likelihood t-distribution

— Grzenio
fonte

Per quanto ne sappia, non esistono in forma chiusa. Potrebbe essere necessario un approccio al tipo di salita a gradiente.

— Pat

Sebbene la distribuzione Student t abbia un singolo parametro, al plurale si fa riferimento a "parametri". Stai forse includendo i parametri di posizione e / o scala?

— whuber

@whuber, grazie per il commento, sono davvero interessato ai parametri di posizione e scala, più che ai gradi di libertà.

— Grzenio,

Con

dati, l'equazione di probabilità per il parametro location è algebricamente equivalente a un polinomio di grado

. Ritiene che uno zero di un tale polinomio sia dato in "forma chiusa"?

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber, ci sono casi speciali per la piccola n, ad es. n = 3?

— Grzenio,

27

La forma chiusa non esiste per T, ma un approccio molto intuitivo e stabile è tramite l'algoritmo EM. Ora, poiché lo studente è una miscela in scala di normali, puoi scrivere il tuo modello come

y_{io} = μ + e_{io}

$y_i=\mu+e_i$

dove e $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Ciò significa che condizionatamentei mle sono solo la deviazione media e standard di pesata. Questo è il passaggio "M" $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\underset{io}{Σ} w_{io} y_{io}}{\underset{io}{Σ} w_{io}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Ora la "E" sostituisce passo con la sua aspettativa dato tutti i dati. Questo è dato come: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

quindi basta semplicemente ripetere i due passaggi precedenti, sostituendo il "lato destro" di ciascuna equazione con le stime dei parametri correnti.

Ciò mostra molto facilmente le proprietà di robustezza della distribuzione t poiché le osservazioni con residui di grandi dimensioni ricevono meno peso nel calcolo per la posizione e influenza limitata nel calcolo di . Per "influenza limitata" intendo che il contributo alla stima di dall'ottava osservazione non può superare una determinata soglia (questo è nell'algoritmo EM). Anche è un parametro di "robustezza" in quanto l'aumento (decrescente) comporterà pesi più (meno) uniformi e quindi una maggiore (minore) sensibilità ai valori anomali. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Una cosa da notare è che la funzione di probabilità logaritmica può avere più di un punto fisso, quindi l'algoritmo EM può convergere in una modalità locale anziché in una modalità globale. È probabile che si trovino le modalità locali quando il parametro location viene avviato troppo vicino a un valore anomalo. Quindi partire dalla mediana è un buon modo per evitarlo.

— probabilityislogic
fonte

1

È fantastico Ho pensato per un po 'di tempo all'adattamento dello studente che sta usando EM per il preciso motivo che sembra un misto di gaussiani. Hai una citazione / riferimento per le equazioni di aggiornamento che dai? Avere questo aumenterebbe ulteriormente la bellezza di questo post.

— Pat

In realtà, penso di averne trovato uno io stesso, per un modello misto di studenti t (che ho intenzione di usare per cose): le miscele delle distribuzioni t di Student come un solido framework per una rigida registrazione. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Image and Vision Computing 27 (2009) 1285-1294.

— Pat

Il link nella mia risposta a questa domanda ha una struttura EM molto generale per un sacco di funzioni di verosimiglianza - quantile, studente, logistica e fa regressione generale. Il tuo caso specifico è "regressione" senza covariate - solo intercettazione - quindi si adatta perfettamente a questo quadro. Inoltre, ci sono un gran numero di termini di penalità che puoi incorporare in questo framework.

— Probislogic,

ν

$\nu$

Penso che questo riferimento sia migliore di @ Pat's. "STIMA ML DELLA DISTRIBUZIONE MEDIANTE EM E SUE ESTENSIONI, ECM ED ECME." È necessario prestare molta attenzione alla selezione del valore del parametro iniziale durante l'esecuzione dell'algoritmo EM a causa del problema locale ottimale. In altre parole, devi sapere qualcosa sui tuoi dati. Di solito, evito l'uso della distribuzione t nella mia ricerca.

4

Il seguente documento affronta esattamente il problema che hai inserito.

Liu C. e Rubin DB 1995. "Stima ML della distribuzione t usando EM e le sue estensioni, ECM ed ECME." Statistica Sinica 5: 19–39.

Fornisce una stima generale dei parametri di distribuzione t multivariata, con o senza la conoscenza del grado di libertà. La procedura può essere trovata nella Sezione 4, ed è molto simile a quella di probabilità per 1 dimensione.

— mitchshih
fonte

7

Sembra che il documento a cui ti riferisci contenga una risposta utile alla domanda, ma le risposte sono migliori quando sono autonome e non richiedono risorse esterne (qui, ad esempio, è possibile che OP o lettori non abbiano accesso a questo documento ). Potresti arricchire un po 'la tua risposta per renderla più autonoma?

— Patrick Coulombe,

3

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$ e prendendone nota, otterrai un'equazione non lineare

ν

$\nu$ . Anche se riesci a ottenere una soluzione, a seconda del numero di fattori (termini)

n

$n$ , l'equazione MLE dipenderà da questo

n

$n$ in modo non banale. Tutto ciò semplifica notevolmente, ovviamente, quando

ν \to \infty

$\nu \rightarrow \infty$ , quando il potere si avvicina a un esponenziale (PDF gaussiano).

— Lucozade
fonte

1

Even in the Gaussian setting the log likelihood is nonlinear in its parameters :-).

— whuber

I am actually interested in location and scale parameters, more than in the degrees of freedom. Please see edit to the question, and sorry for being not precise.

— Grzenio

2

Di recente ho scoperto uno stimatore a forma chiusa per la scala della distribuzione t di Student. Per quanto ne so, si tratta di un nuovo contributo, ma gradirei commenti che suggeriscano risultati correlati. L'articolo descrive il metodo nel contesto di una famiglia di distribuzioni "esponenziali accoppiate". La t di Student viene definita gaussiana accoppiata, dove il termine di accoppiamento è il reciproco del grado di libertà. La statistica a forma chiusa è la media geometrica dei campioni. Supponendo un valore dell'accoppiamento o un grado di libertà, una stima della scala viene determinata moltiplicando la media geometrica dei campioni per una funzione che coinvolge l'accoppiamento e un numero armonico.

https://arxiv.org/abs/1804.03989 Uso della media geometrica come statistica per la scala delle distribuzioni gaussiane accoppiate, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
fonte