I CDF sono più fondamentali dei PDF?

Il mio prof stat ha sostanzialmente detto, se dato uno dei seguenti tre, puoi trovare gli altri due:

Funzione di distribuzione cumulativa
Funzione di generazione del momento
Densità di probabilità

Ma il mio professore di econometria ha affermato che i CDF sono più fondamentali dei PDF perché ci sono esempi in cui è possibile avere un CDF ma il PDF non è definito.

I CDF sono più fondamentali dei PDF? Come faccio a sapere se un PDF o un MGF può essere derivato da un CDF?

— Stan Shunpike
fonte

È una specie di contest di fondamentalità? Abbiamo una giuria di giudici di celebrità? Tutti e tre questi concetti possono essere usati per definire una misura su uno spazio . Tuttavia, per un determinato CDF, MGF e PDF potrebbero non esistere, poiché PDF è definito come un derivato di CDF e MGF è definito come , e questo non c'è bisogno integrale. Tuttavia, ciò non significa che nessuno di questi concetti sia meno fondamentale. Fondamentale è un simpatico aggettivo che non ha una definizione matematica. È sinonimo di importante.

R^{d}

$\mathbb{R}^d$

\int_{R} \exp (t x) d F (x)

$\int_{\mathbb{R}}\exp(tx)dF(x)$

— mpiktas,

@mpiktas: ogni distribuzione di probabilità su (un sottoinsieme di) ha un CDF e definisce in modo univoco la distribuzione. Tuttavia, non tutte le distribuzioni di probabilità hanno un PDF o un MGF (ma hanno tutte una funzione caratteristica ).

R^{n}

$\mathbb R^n$

— Ilmari Karonen,

@mpiktas si potrebbe fare con sul . Quindi non è definito. Tuttavia mi è chiaro perché il professore abbia usato l'espressione "più fondamentale". L'aggettivo potrebbe non avere un significato matematico ben definito, ma allora? alcuni) anche l'inglese. Ogni PDF che conosciamo ha un CDF sottostante. Qui "sottostante" ha una bella associazione con "fondamentale". Il contrario non è vero.

A = {R, \emptyset}

$\mathcal A=\{\mathbb R,\varnothing\}$

R

$\mathbb R$

P ((- \infty, x])

$P((-\infty,x])$

— drhab

@drhab, naturalmente stavo parlando del derivato Radon-Nikodym :) Capisco troppo perfettamente ciò che il professore aveva in mente, ma secondo me è pericoloso usare tali espressioni con gli studenti, perché invece di cercare di capire la differenza tra il concetti matematici che cercano di classificarli in base alla fondatezza, il che è fondamentalmente sbagliato. Gioco di parole.

— mpiktas,

@mpiktas: certo, non esiste una definizione precisa di "fondamentale". Ma c'è una grande via di mezzo tra "rigorosamente definito" e "totalmente insignificante". Nella nostra stessa matematica, ovviamente, tutto alla fine deve essere completamente rigoroso, quindi ci abituiamo molto a schiaffeggiare tutto ciò che non lo è. Ma quando parliamo e pensiamo alla matematica, abbiamo nozioni soggettive ma significative come "fondamentale", "generale", ecc., Proprio come tutti gli altri; e va bene.

— PLL,

Risposte:

Ogni distribuzione di probabilità su (un sottoinsieme di) ha una funzione di distribuzione cumulativa e definisce in modo univoco la distribuzione. Quindi, in questo senso, il CDF è davvero fondamentale quanto la distribuzione stessa. $\mathbb R^n$

Una funzione di densità di probabilità , tuttavia, esiste solo per distribuzioni di probabilità (assolutamente) continue . L'esempio più semplice di una distribuzione priva di PDF è qualsiasi distribuzione di probabilità discreta , come la distribuzione di una variabile casuale che accetta solo valori interi.

Naturalmente, tali distribuzioni di probabilità discrete possono essere invece caratterizzate da una funzione di massa di probabilità , ma ci sono anche distribuzioni che non hanno né PDF né PMF, come qualsiasi combinazione di una distribuzione continua e discreta:

^{(Diagramma rubato senza vergogna dalla risposta di Glen_b a una domanda correlata.)}

Esistono anche distribuzioni di probabilità singolari , come la distribuzione di Cantor , che non possono essere descritte nemmeno da una combinazione di un PDF e un PMF. Tuttavia, tali distribuzioni hanno ancora un CDF ben definito. Ad esempio, ecco il CDF della distribuzione Cantor, talvolta chiamato anche "Scala del diavolo":

^{( Immagine tratta da Wikimedia Commons dagli utenti Theon e Amirki , utilizzata sotto la licenza CC-By-SA 3.0 .)}

Il CDF, noto come funzione Cantor , è continuo ma non assolutamente continuo. In realtà, è costante ovunque tranne che su un set Cantor di zero misura di Lebesgue, ma che contiene ancora infinitamente molti punti. Pertanto, l'intera massa di probabilità della distribuzione di Cantor è concentrata su questo sottoinsieme minaccioso della linea del numero reale, ma ogni punto dell'insieme ha ancora individualmente zero probabilità.

Ci sono anche distribuzioni di probabilità che non hanno una funzione generatrice di momenti . Probabilmente l'esempio più noto è la distribuzione di Cauchy , una distribuzione dalla coda grassa che non ha momenti ben definiti di ordine 1 o superiore (quindi, in particolare, senza media o varianza ben definite!).

Tutte le distribuzioni di probabilità su , tuttavia, hanno una funzione caratteristica (possibilmente a valore complesso) ), la cui definizione differisce da quella dell'MGF solo per una moltiplicazione con l' unità immaginaria . Pertanto, la funzione caratteristica può essere considerata fondamentale come il CDF. $\mathbb R^n$

— Ilmari Karonen
fonte

Dici che ogni distribuzione ha CDF, ma non tutti hanno PDF, ma in realtà ci sono distribuzioni che hanno PDF e non hanno CDF in formato chiuso, ad esempio multivariata normale.

— Tim

@Tim: è vero, ma solo con il qualificatore "forma chiusa"; il CDF esiste ancora, anche se non possiamo scriverlo in forma chiusa. E in ogni caso, la definizione di " espressione in forma chiusa " è notoriamente sfocata; secondo alcune rigide definizioni, anche la distribuzione normale univariata non ha un CDF in forma chiusa, ma se si considera che la funzione di errore è in forma chiusa, lo è.

— Ilmari Karonen,

@ Tim Non è un controesempio. È una proprietà arbitraria che hai scelto come importante / fondamentale per te. Per me, la proprietà "esiste" è più importante di "ha forma chiusa". Inoltre, "esiste sempre" contro "a volte potrebbe non avere forma chiusa, proprio come qualsiasi funzione".

— Ark-kun,

Più importante del set Cantor ha "infinitamente molti punti" è che ha innumerevoli punti. Ha la stessa cardinalità è l'intervallo . Quindi è un sottoinsieme numerabile dell'intervallo con misura zero (Lebesgue). La misura che stai descrivendo è altrettanto interessante in quanto è zero su sottoinsiemi numerabili dell'insieme Cantor e solo diversi da zero su (alcuni) sottoinsiemi innumerevoli ...

[0, 1] \subset R

$[0,1] \subset \Bbb{R}$

— Eric Towers

@ Ark-kun Qui interpreto l'avvocato dei diavoli poiché ci sono casi in cui PDF è qualcosa di più "direttamente disponibile" rispetto a CDF. Mi piace questa risposta (+1), ma IMHO, questo è qualcosa che potrebbe anche essere menzionato.

— Tim

Credo che il tuo professore di econometria stesse pensando a qualcosa come segue.

Considera la funzione con domiain definita da $F$ $[0, 1]$

F (x) = \frac{1}{2} x for x < \frac{1}{2}

$F(x) = \frac{1}{2}x \ \text{for} \ x < \frac{1}{2}$

F (x) = \frac{1}{2} x + \frac{1}{2} for x \geq \frac{1}{2}

$F(x) = \frac{1}{2}x + \frac{1}{2} \ \text{for} \ x \geq \frac{1}{2}$

Questa è una funzione discontinua, ma un CDF completamente valido per una certa distribuzione di probabilità su . Si noti che, utilizzando questa distribuzione $[0, 1]$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

Non esiste alcuna funzione che funge da PDF per questa distribuzione, anche se esiste un CDF. $f$

È abbastanza facile verificare che ciò sia vero in questo semplice esempio se hai già visto questo genere di cose. Supponiamo che esista un pdf , mostreremo che deve avere una proprietà impossibile, e quindi non può esistere. $f$

Per definizione di un PDF, dobbiamo avere

\int_{0}^{x} f (t) d t = F (x) - F (0) = \frac{1}{4} x

$\int_0^x f(t) dt = F(x) - F(0) = \frac{1}{4}x$

per tutti . Una funzione che si integra con una funzione lineare deve essere costante (tecnicamente costante quasi ovunque), quindi concludiamo che $0 < x < \frac{1}{2}$

f (x) = \frac{1}{4} for x < \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x < \frac{1}{2}$

Allo stesso modo, ma integrando a partire da uno, spostandoci verso zero e finendo con , arriviamo alla stessa conclusione $x > \frac{1}{2}$

f (x) = \frac{1}{4} for x > \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x > \frac{1}{2}$

Quindi abbiamo determinato ovunque tranne . Ma non importa cosa sia , non può avere la proprietà di integrazione desiderata. Da $f$ $f\left(\frac{1}{2}\right)$ $f\left(\frac{1}{2}\right)$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

avremmo bisogno

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t > \frac{1}{2}

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt > \frac{1}{2}$

per ogni intervallo contenente . Ma in effetti il valore di qualsiasi integrale non viene influenzato modificando il valore di una funzione in un singolo punto, quindi $\frac{1}{2}$

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t = \int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} \frac{1}{4} d t = \frac{1}{2} ϵ

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt = \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} \frac{1}{4} dt = \frac{1}{2} \epsilon$

Quindi non c'è via d'uscita, una funzione come non può esistere. $f$

Puoi recuperare lo spirito di un PDF, ma devi usare oggetti matematici più sofisticati, una misura o una distribuzione .

— Matthew Drury
fonte

Questa "proprietà impossibile" si ottiene facilmente sommando in un PDF altrimenti abbastanza convenzionale, dove è il delta di Dirac , una funzione generalizzata con valore 0 ovunque tranne un "picco" (infinitamente alto) at , con la proprietà speciale che .

\frac{1}{2} δ (x - \frac{1}{2})

$\frac{1}{2} \delta \left(x-\frac{1}{2}\right)$

δ (x)

$\delta(x)$

x = 0

$x=0$

\int_{- \infty}^{+ \infty} δ (x) d x = 1

$\int\limits_{-\infty}^{+\infty} \delta(x) \,\mathrm{d}x = 1$

— Iwillnotexist Idonotexist,

@iwill Un PDF, per definizione, è una classe di equivalenza di funzioni (nella norma rispetto alla misura di Lebesgue). Il delta di Dirac non si qualifica, motivo per cui deve essere definita una "funzione generalizzata".

L^{1}

$L^1$

— whuber

@IwillnotexistIdonotexist Quello che ha detto whuber è ciò a cui ho accennato nell'ultima riga. Ho usato la parola "distribuzione".

— Matthew Drury,

Il tuo esempio non ha un pdf solo perché presumi implicitamente che la misura dominante sia la misura di Lebesgue. Ma quando si usa una misura dominante che include una massa in punti a , ad esempio la somma della misura di Lebesgue e della Dirac a .

1 / 2

$1/2$

1 / 2

$1/2$

— Xi'an,

Ilmari fornisce una buona risposta da una prospettiva teorica. Tuttavia, si può anche chiedere a quali scopi la densità (pdf) e la funzione di distribuzione (pdf) servono per calcoli pratici. Ciò potrebbe chiarire per quali situazioni l'una è più direttamente utile dell'altra.

Per le distribuzioni di probabilità su la funzione di distribuzione fornisce direttamente le probabilità di tutti gli intervalli . Da queste probabilità, la probabilità di un'unione finita di intervalli può essere calcolata dall'aritmetica elementare. Per tutti gli scopi pratici I puoi pensare che queste sono le uniche probabilità che vorresti poter calcolare. Potrebbe essere teoricamente conveniente esprimere queste o probabilità di insiemi più generali come integrali, ma per il calcolo effettivo abbiamo effettivamente bisogno della funzione di distribuzione. $\mathbb{R}$ $(-\infty,x]$ $-$ $-$

La densità è, tuttavia, essenziale per le statistiche, poiché la probabilità è definita in termini di densità. Pertanto, se vogliamo calcolare la stima della massima verosimiglianza, abbiamo bisogno direttamente della densità.

Se ci rivolgiamo al confronto tra una distribuzione empirica e una teorica, entrambe possono essere utili, ma spesso sono preferiti metodi come i grafici pp e qq basati sulla funzione di distribuzione.

Per le distribuzioni di probabilità su per la funzione di distribuzione gioca un ruolo meno importante. Uno dei motivi è che le probabilità per molti insiemi di interessi (palline, ellissoidi, coni ecc.) Non possono essere facilmente calcolate da esso. $\mathbb{R}^d$ $d \geq 2$

— NRH
fonte