Quando preferire la funzione generatrice dei momenti alla funzione caratteristica?

Permettere $(\Omega, \mathcal{F}, P)$ essere uno spazio di probabilità e lasciare $X : \Omega \to \mathbb{R}^n$ essere un vettore casuale. Sia la distribuzione di , una misura di Borel su . $P_X = X_* P$ $X$ $\mathbb{R}^n$

La funzione caratteristica di è la funzione definita per (la variabile casuale è limitata quindi in per tutte le ). Questa è la trasformata di Fourier di . $X$ $φ_{X} (t) = E [e^{i t \cdot X}] = \int_{Ω} e^{i t \cdot X} d P,$ $\varphi_X(t) = E[e^{i t \cdot X}] = \int_\Omega e^{i t \cdot X} \, dP,$ $t \in \mathbb{R}^n$ $e^{i t \cdot X}$ $L^1(P)$ $t$ $P_X$
La funzione generatrice del momento ( mgf ) di è la funzione definita per tutto per cui esiste l'integrale sopra . Questa è la trasformata di Laplace di . $X$ $M_{X} (t) = E [e^{t \cdot X}] = \int_{Ω} e^{t \cdot X} d P,$ $M_X(t) = E[e^{t \cdot X}] = \int_\Omega e^{t \cdot X} \, dP,$ $t \in \mathbb{R}^n$ $P_X$

Possiamo già vedere che la funzione caratteristica è definita ovunque su , ma il mgf ha un dominio che dipende da , e questo dominio potrebbe essere solo (questo accade, ad esempio, per una variabile casuale distribuita da Cauchy). $\mathbb{R}^n$ $X$ $\{0\}$

Nonostante ciò, le funzioni caratteristiche e i mgf condividono molte proprietà, ad esempio:

Se $X_1, \ldots, X_n$ sono indipendenti, quindi $φ_{X_{1} + \dots + X_{n}} (t) = φ_{X_{1}} (t) \dots φ_{X_{n}} (t)$ $\varphi_{X_1 + \cdots + X_n}(t) = \varphi_{X_1}(t) \cdots \varphi_{X_n}(t)$ per tutti $t$ , e $M_{X_{1} + \dots + X_{n}} (t) = M_{X_{1}} (t) \dots M_{X_{n}} (t)$ $M_{X_1 + \cdots + X_n}(t) = M_{X_1}(t) \cdots M_{X_n}(t)$ per tutti $t$ per cui esistono i mgf .
Due vettori casuali $X$ e $Y$ avere la stessa distribuzione se e solo se $\varphi_X(t) = \varphi_Y(t)$ per tutti $t$ . L'analogo mgf di questo risultato è che if $M_X(t) = M_Y(t)$ per tutti $t$ in alcuni quartieri di $0$ , poi $X$ e $Y$ avere la stessa distribuzione.
Le funzioni caratteristiche e i mgf di distribuzioni comuni hanno spesso forme simili. Ad esempio, se $X \sim N_n(\mu, \Sigma)$ ( $n$ tridimensionale con media $\mu$ e matrice di covarianza $\Sigma$ ), poi $φ_{X} (t) = \exp (i μ \cdot t - \frac{1}{2} t \cdot (Σ t))$ $\varphi_X(t) = \exp\left(i \mu\cdot t - \frac{1}{2} t \cdot (\Sigma t)\right)$ e $M_{X} (t) = \exp (μ \cdot t - \frac{1}{2} t \cdot (Σ t)) .$ $M_X(t) = \exp\left(\mu\cdot t - \frac{1}{2} t \cdot (\Sigma t)\right).$
Quando sono valide alcune assunzioni lievi, sia la funzione caratteristica che il mgf possono essere differenziati per calcolare i momenti.
Il teorema di continuità di Lévy fornisce un criterio per determinare quando una sequenza di variabili casuali converge nella distribuzione in un'altra variabile casuale usando la convergenza delle corrispondenti funzioni caratteristiche. Esiste un teorema corrispondente per mgf ( Curtiss 1942, Teorema 3 ).

Dato che le funzioni caratteristiche e i mgf sono spesso usati per lo stesso scopo e il fatto che esiste sempre una funzione caratteristica mentre un mgf non esiste sempre, mi sembra che si debba spesso lavorare con funzioni caratteristiche rispetto a quelle di mgf.

Domande.

Quali sono alcuni esempi in cui i mgf sono più utili delle funzioni caratteristiche?

Cosa si può fare con un mgf che non si può fare con una funzione caratteristica?

mgf characteristic-function

— Artem Mavrin
fonte

La chiave di questa domanda non è forse la parola "introduttiva" verso la fine? Avrebbe senso pedagogico introdurre qualcosa che implichi l'analisi di numeri complessi in un corso che presume solo un'esposizione minima al (e nessun conforto con) il calcolo elementare e spesso nemmeno quello?

— whuber

@whuber Era qualcosa a cui pensavo anch'io, ma non voglio che la mia domanda riguardi la pedagogia, quindi forse dovrei rimuovere l'ultimo paragrafo

— Artem Mavrin,

Una risposta parziale è qui: stats.stackexchange.com/questions/304066/…

— kjetil b halvorsen

Risposte:

Questa è una buona domanda, ma ampia, quindi non posso promettere che dirò tutto a riguardo. La risposta breve è che le tecniche rivali differiscono non in ciò che possono fare, ma in quanto ordinatamente possono farlo.

Le funzioni caratteristiche richiedono ulteriore attenzione a causa del ruolo di numeri complessi. Non è nemmeno che lo studente abbia bisogno di conoscere numeri complessi; è che il calcolo coinvolto presenta insidie sottili. Ad esempio, posso ottenere l'MGF di una distribuzione normale semplicemente completando il quadrato con una sostituzione a spostamento variabile, ma molte fonti fingono distrattamente che l'approccio usando le funzioni caratteristiche sia altrettanto facile. Non lo è, perché la famosa normalizzazione dell'integrale gaussiano non dice nulla sull'integrazione $ic+\mathbb{R}$ con $c\in\mathbb{R}\backslash\{ 0\}$ . Oh, possiamo ancora valutare l'integrale se stiamo attenti ai contorni, e in effetti c'è un approccio ancora più semplice, in cui mostriamo integrando per parti che un $N(0,\,1)$ funzione caratteristica della distribuzione $\phi (t)$ soddisfa $\dot{\phi}=-t\phi$ . Ma l'approccio MGF è ancora più semplice e la maggior parte delle distribuzioni di cui gli studenti hanno bisogno all'inizio hanno un MGF convergente su un segmento di linea (ad esempio Laplace) o su una mezza linea (ad esempio Gamma, geometrica, binomiale negativa) o sull'intero $\mathbb{R}$ (es. Beta, binomiale, Poisson, Normale). Ad ogni modo, è abbastanza per studiare i momenti.

Non credo che ci sia qualcosa che puoi fare solo con MGF, ma usi ciò che è più semplice per il compito da svolgere. Eccone uno per te: qual è il modo più semplice per calcolare i momenti di una distribuzione di Poisson? Direi che è di usare nuovamente una tecnica diversa, la funzione generatrice di probabilità $G(t)=\mathbb{E}t^X=\exp \lambda (t-1)$ . Quindi il simbolo di Pochhammer che cade $(X)_k$ dà $\mathbb{E}(X)_k=G^{(k)}(1)=\lambda^k$ . In generale, di solito vale la pena usare PGF per distribuzioni discrete, MGF per distribuzioni continue che sono limitate o hanno un decadimento superexponenziale nelle code del PDF e la funzione caratteristica quando ne hai davvero bisogno.

E a seconda della domanda che stai ponendo, potresti invece trovare prudente utilizzare la funzione di generazione cumulativa, sia essa definita come il logaritmo di MGF o CF. Ad esempio, lascerò come esercizio la definizione log-MGF di cumulativi per il massimo di $n$ $\operatorname{Exp}(1)$ iids dà $\kappa_m=(m-1)!\sum_{k=1}^n k^{-m}$ , che fornisce un calcolo molto più semplice della media e della varianza (rispettivamente $\kappa_1$ e $\kappa_2$ ) che se le avessi scritte in termini di momenti.

— JG
fonte

Non capisco la tua osservazione sull'integrazione

i c + R,

$ic+\mathbb R,$ "perché afaik il cf è definito come un integrale di una funzione a valore complesso su

R .

$\mathbb R.$ Non deve essere visto come integrale di contorno. Per quelli a disagio con numeri complessi può comunque essere visto come una coppia di integrali reali. Non è chiaro come il mgf sia "più semplice" sotto ogni aspetto. In effetti, il cf è più semplice, nel senso che non ci si deve preoccupare della convergenza.

— whuber

@whuber Quello che voglio dire è

\int_{R} \frac{1}{\sqrt{2 π}} \exp (- \frac{x^{2}}{2} + i t x) d x = \int_{- i t + R} \frac{1}{\sqrt{2 π}} \exp (- \frac{y^{2}}{2} - \frac{t^{2}}{2}) d t

$\int_{\Bbb R}\frac{1}{\sqrt{2\pi}}\exp (-\frac{x^2}{2}+itx)dx=\int_{-it+\Bbb R}\frac{1}{\sqrt{2\pi}}\exp (-\frac{y^2}{2}-\frac{t^2}{2})dt$ .

— JG

Ho sospettato tanto. Ma non è solo un artefatto di come si potrebbe scegliere di valutare l'integrale, piuttosto che essere una caratteristica inerente al cf stesso?

— whuber

@whuber Il problema è che molte fonti fingono che la sostituzione funzioni in modo semplice come nel caso della MGF, cosa che non accade.

— JG

Ti dispiacerebbe elaborare un po 'il perché non lo fa? Non vedo nulla di problematico in questo caso particolare; e in generale, perché l'integrale originale è finito

R

$\mathbb R$ è convergente, non ci si aspetterebbe alcun problema con le sostituzioni di questo tipo.

— whuber

Se la tua variabile casuale ha tutti i suoi momenti, allora l'MGF esiste ed è generalmente utile almeno quanto la funzione caratteristica per le prove.

Per rispondere alla tua domanda, quando MGF esiste, fornisce la base per molti calcoli di valore estremo correlati $X$ . Il più semplice dei quali è (per $t\geq 0$ ),

P (X > r) = P (e^{t X} > e^{t r}) \leq M_{X} (t) / e^{t r} .

$P(X>r)=P(e^{tX}>e^{tr})\leq M_X(t)/e^{tr}.$

Qui, ora è possibile ridurre al minimo rhs $t$ . Stranamente, questo limite è uno dei pochi semplici modi che conosciamo per ottenere stime su eventi rari. L'area generale di questa è la teoria delle grandi deviazioni , dove si deve fare un sacco di lavoro per ottenere limiti migliori (più stretti). Un esempio comune di questo è guardare $S_n=X_1+\cdots + X_n$ , in modo che quando il MGF di $X_1$ esiste, quindi si può mostrare $P(|S_n-E[X]|>nr)$ decadono esponenzialmente in $n$ . Questo è più comunemente noto come Teorema di Cramer .

Ecco alcune note compatte su questo.

— Alex R.
fonte

Tutto nel tuo primo paragrafo è già menzionato nella domanda tranne l'ultima frase, che penso sia falsa. Ad esempio, esistono tutti i momenti della distribuzione log-normale, ma il suo mgf non è definito per nessun numero reale positivo. La seconda parte della tua risposta è molto utile perché evidenzia un'applicazione di mgf che apparentemente non ha una funzione caratteristica analoga

— Artem Mavrin,