Definizione di famiglia di una distribuzione?

Una famiglia di una distribuzione ha una definizione diversa per la statistica rispetto ad altre discipline?

In generale, una famiglia di curve è un insieme di curve, ognuna delle quali è data da una funzione o parametrizzazione in cui uno o più parametri sono variati. Tali famiglie vengono utilizzate, ad esempio, per caratterizzare i componenti elettronici .

Per le statistiche, una famiglia secondo una fonte è il risultato della variazione del parametro di forma. Come possiamo quindi capire che la distribuzione gamma ha un parametro di forma e scala e solo la distribuzione gamma generalizzata ha, inoltre, un parametro di posizione? Ciò rende la famiglia il risultato della variazione del parametro location? Secondo @whuber il significato di una famiglia è implicitamente Una "parametrizzazione" di una famiglia è una mappa continua da un sottoinsieme di ℝ n , con la sua solita topologia, nello spazio delle distribuzioni, la cui immagine è quella famiglia.$^n$

Che cos'è, in un linguaggio semplice, una famiglia per distribuzioni statistiche?

Una domanda sulle relazioni tra le proprietà statistiche delle distribuzioni della stessa famiglia ha già generato notevoli polemiche per una domanda diversa quindi vale la pena esplorarne il significato.

Che questa non sia necessariamente una semplice domanda nasce dal suo uso nella frase famiglia esponenziale , che non ha nulla a che fare con una famiglia di curve, ma è correlata alla modifica della forma del PDF di una distribuzione mediante riparametrizzazione non solo dei parametri , ma anche la sostituzione di funzioni di variabili casuali indipendenti.

I concetti statistici e matematici sono esattamente gli stessi, comprendendo che "famiglia" è un termine matematico generico con variazioni tecniche adattate alle diverse circostanze:

Una famiglia parametrica è una curva (o superficie o altra sua generalizzazione a dimensione finita) nello spazio di tutte le distribuzioni.

Il resto di questo post spiega cosa significa. A parte questo, non penso che nulla di tutto ciò sia controverso, né matematicamente né statisticamente (a parte un problema minore che si nota di seguito). A sostegno di questa opinione ho fornito molti riferimenti (principalmente agli articoli di Wikipedia).

Questa terminologia di "famiglie" tende ad essere usata quando si studiano le classi delle funzioni in un insieme Y o "mappe". Dato un dominio X , una famiglia F di mappe su X parametrizzata da un set Θ (i "parametri") è una funzione$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

per cui (1) per ogni , la funzione F θ : X → Y data da F θ ( x ) = F ( x , θ ) è in C Y e (2) F stessa ha alcune proprietà "belle".$\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$

L'idea è che vogliamo variare le funzioni da a Y in modo "regolare" o controllato. Proprietà (1) significa che ogni θ designa una tale funzione, mentre i dettagli della proprietà (2) cattureranno il senso in cui un cambiamento "piccolo" in θ induce un cambiamento sufficientemente "piccolo" in F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Un esempio matematico standard, vicino a quello menzionato nella domanda, è un'omotopia . In questo caso è la categoria di mappe continue dagli spazi topologici X allo spazio topologico Y ; Θ = [ 0 , 1 ] ⊂ R rappresenta l'intervallo unitario con la consueta topologia, e si richiede che F sia una continua mappa dal prodotto topologico X × Θ in Y . Può essere considerata una "deformazione continua della mappa $\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$ a F 1. "Quando X = [ 0 , 1 ] è esso stesso un intervallo, tali mappe sonocurvein Y e l'omotopia è una deformazione regolare da una curva all'altra.$\mathcal{F}_0$$\mathcal{F}_1$$X=[0,1]$$Y$

Per applicazioni statistiche, è l'insieme di tutte le distribuzioni su R (o, in pratica, su R n per alcuni n , ma per mantenere semplice l'esposizione mi concentrerò su n = 1 ). Possiamo identificare con l'insieme di tutti non decrescente Funzione Càdlàg funzioni R → [ 0 , 1 ] in cui la chiusura della loro gamma comprende sia 0 e 1 : queste sono le funzioni di distribuzione cumulativa, o semplicemente funzioni di distribuzione. Pertanto, X = $\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ e .$Y=[0,1]$

Una famiglia di distribuzioni è qualsiasi sottoinsieme di . $\mathcal{C}_Y$ Un altro nome per una famiglia è modello statistico. Consiste in tutte le distribuzioni che supponiamo governino le nostre osservazioni, ma non sappiamo altrimenti quale distribuzione sia quella effettiva.

• Una famiglia può essere vuota.
• stessa è una famiglia.$\mathcal{C}_Y$
• Una famiglia può essere costituita da un'unica distribuzione o solo da un numero finito di esse.

Queste caratteristiche astratte set-teoriche sono di scarso interesse o utilità. È solo quando consideriamo la struttura matematica aggiuntiva (rilevante) su che questo concetto diventa utile. Ma quali proprietà di C Y sono di interesse statistico? Alcuni che compaiono frequentemente sono:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. è uninsieme convesso: date due distribuzioni F , G ∈ C Y , possiamo formare ladistribuzionedellamiscela(1-t) F +t G ∈Yper tuttet∈[0,1]. Si tratta di una sorta di "homotopy" daFaG.$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$

2. Grandi parti di supportano varie pseudo metriche, come la divergenza di Kullback-Leibler o la metrica di Fisher Information strettamente correlata.$\mathcal{C}_Y$

3. ha una struttura additivo: corrispondente a qualsiasi due distribuzioniFeGè la loro somma, F ⋆ G .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. supporta molte funzioni utili e naturali, spesso definite "proprietà". Questi includono qualsiasi quantile fisso (come la mediana) e icumulativi.$\mathcal{C}_Y$

5. è un sottoinsieme di unospazio funzionale. Come tale, eredita molte metriche utili, come lasup norma( L ∞ norma) data da | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Naturali azioni di gruppo su inducono azioni su C Y . Le azioni più comuni sono traduzioni T μ : x → x + μ e ridimensionamenti S σ : x → x σ per σ > 0 . L'effetto che questi hanno su una distribuzione è di inviare F alla distribuzione data da F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Questi portano ai concetti di famiglie su scala locale e alle loro generalizzazioni. (Non fornisco un riferimento, perché ampie ricerche sul Web rivelano una varietà di definizioni diverse: qui, almeno, potrebbe esserci un po 'di controversia.)$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Le proprietà che contano dipendono dal problema statistico e da come si intende analizzare i dati. Affrontare tutte le variazioni suggerite dalle caratteristiche precedenti richiederebbe troppo spazio per questo mezzo. Concentriamoci su un'applicazione importante comune.

Prendi, ad esempio, la massima verosimiglianza. Nella maggior parte delle applicazioni, sarà possibile utilizzare Calculus per ottenere un preventivo. Perché questo funzioni, devi essere in grado di "prendere derivati" in famiglia.

( Tecnica a parte: Il solito modo in cui questo viene ottenuto è quello di selezionare un dominio per d ≥ 0 e specificare un continuo, localmente invertibile funzione p da Θ in C Y (Questo significa che per ogni. Θ ∈ Θ lì esiste una palla B ( θ , ϵ ) , con ϵ > 0 per cui p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$ è uno a uno. In altre parole, se alteriamo θ di una quantità sufficientemente piccola otterremo sempre una distribuzione diversa.))$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

Di conseguenza, nella maggior parte delle applicazioni ML richiediamo che sia continuo (e si spera, quasi ovunque differenziabile) nella componente Θ . (Senza continuità, massimizzare la probabilità generalmente diventa un problema irrisolvibile.) Ciò porta alla seguente definizione orientata alla probabilità di una famiglia parametrica :$p$$\Theta$

Una famiglia parametrica di distribuzioni (univariate) è una mappa localmente invertibile con Θ ⊂ R n , per cui (a) ogni F θ è una funzione di distribuzione e (b) per ogni x ∈ R , la funzione L x : θ → [ 0 , 1 ] data da L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ è continuo e quasi ovunque differenziabile.

Si noti che una famiglia parametrica è molto più di un semplice insieme di F θ : include anche il modo specifico in cui i valori dei parametri θ corrispondono alle distribuzioni.$\mathcal F$$\mathcal{F}_\theta$$\theta$

Finiamo con alcuni esempi illustrativi.

• Sia l'insieme di tutte le distribuzioni normali. Come dato, questa non è una famiglia parametrica: è solo una famiglia. Per essere parametrici, dobbiamo scegliere una parametrizzazione. Un modo è scegliere Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } e mappare ( μ , σ ) alla distribuzione normale con media μ e varianza σ 2 .$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• L'insieme di Poisson distribuzioni$(\lambda)$ è una famiglia parametrica con .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• L'insieme delle distribuzioni Uniform (che è prominente in molti esercizi da manuale) è una famiglia parametrica con θ ∈ R 1 . In questo caso, F θ ( x ) = max ( 0 , min ( 1 , x - θ ) ) è differenziabile in θ ad eccezione di θ ∈ { x , x - 1 } .$(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$$-F(x)+G(x)$

• The Pearson family is a four-dimensional family, $\Theta\subset\mathbb{R}^4$, which includes (among others) the Normal distributions, Beta distributions, and Inverse Gamma distributions. This illustrates the fact that any one given distribution may belong to many different distribution families. This is perfectly analogous to observing that any point in a (sufficiently large) space may belong to many paths that intersect there. This, together with the previous construction, shows us that no distribution uniquely determines a family to which it belongs.

• The family $\mathcal{C}_Y$ of all finite-variance absolutely continuous distributions is not parametric. The proof requires a deep theorem of topology: if we endow $\mathcal{C}_Y$ with any topology (whether statistically useful or not) and $p: \Theta\to\mathcal{C}_Y$ is continuous and locally has a continuous inverse, then locally $\mathcal{C}_Y$ must have the same dimension as that of $\Theta$. However, in all statistically meaningful topologies, $\mathcal{C}_Y$ is infinite dimensional.

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair $( S , P )$, where $S$ is the set of possible observations, i.e., the sample space, and $P$ is a set of probability distributions on $S$.

Suppose that we have a statistical model $(S, \mathcal{P})$ with $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.