Perché una statistica sufficiente contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro?

Ho appena iniziato a studiare le statistiche e non riesco ad avere una comprensione intuitiva della sufficienza. Per essere più precisi, non riesco a capire come dimostrare che i seguenti due paragrafi sono equivalenti:

All'incirca, dato un insieme X di dati indipendenti identicamente distribuiti condizionati su un parametro sconosciuto θ, una statistica sufficiente è una funzione T (X) il cui valore contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro.

Una statistica T (X) è sufficiente per il parametro sottostante θ proprio se la distribuzione di probabilità condizionale dei dati X, data la statistica T (X), non dipende dal parametro θ.

(Ho preso le citazioni dalla statistica sufficiente )

Sebbene capisca la seconda affermazione e posso usare il teorema di fattorizzazione per mostrare se una determinata statistica è sufficiente, non riesco a capire perché una statistica con tale proprietà abbia anche la proprietà che "contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro ". Non sto cercando una prova formale, che mi aiuti comunque a perfezionare la mia comprensione, mi piacerebbe avere una spiegazione intuitiva del perché le due affermazioni siano equivalenti.

Ricapitolando, le mie domande sono: perché le due affermazioni sono equivalenti? Qualcuno potrebbe fornire una spiegazione intuitiva per la loro equivalenza?

sufficient-statistics

— gcoll
fonte

L'idea intuitiva principale è che a volte non è necessario vedere l'intero campione perché è possibile trovare una statistica che riepiloga tutte le informazioni necessarie dal campione. Prendi, ad esempio, una distribuzione binomiale: tutto ciò che devi sapere per il tuo modello è la somma dei successi. Non si perde nulla di valore se solo vi dico che

, invece di mostrare voi l'intero insieme di valori campionati

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

— Mugen

Capisco perché avrei bisogno di statistiche sufficienti e come dimostrare che la somma dei successi è una statistica sufficiente per p in un processo di Bernoulli. Quello che non capisco è il motivo per cui una statistica come quella descritta nel secondo paragrafo contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro.

— gcoll,

A rigor di termini, la prima citazione è semplicemente sbagliata. Esistono molti stimatori che possono essere calcolati dall'intero set di dati che non possono essere calcolati solo da statistiche sufficienti. Questo è uno dei motivi per cui la citazione inizia "approssimativamente". Un altro motivo è che non fornisce una definizione quantitativa o rigorosa di "informazioni". Dato che nel paragrafo precedente era stata data una caratterizzazione molto più accurata (ma ancora intuitiva), tuttavia, non vi è alcun problema con questa citazione nel contesto appropriato.

— whuber

Ha una connessione con la massima probabilità ed è essenzialmente l'informazione necessaria con la massima probabilità

— Kamster

Seguendo i commenti di whuber e @Kamster, probabilmente ho capito meglio. Quando diciamo che una statistica sufficiente contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro, intendiamo effettivamente che è sufficiente calcolare lo stimatore della massima verosimiglianza (che è una funzione di tutte le statistiche sufficienti)? È vero, il problema era tutto legato alla (non) definizione di "informazione", come suggeriva whuber, e la mia domanda ha una risposta.

— gcoll,

Risposte:

Seguendo i commenti di @whuber e @Kamster, probabilmente ho capito meglio. Quando diciamo che una statistica sufficiente contiene tutte le informazioni necessarie per calcolare qualsiasi stima del parametro, ciò che intendiamo effettivamente è che è sufficiente calcolare lo stimatore della massima verosimiglianza (che è una funzione di tutte le statistiche sufficienti).

Dato che sto rispondendo alla mia domanda, e quindi non sono sicuro al 100% della risposta, non la contrassegnerò come corretta fino a quando non avrò un feedback. Per favore, aggiungi qualsiasi commento e vota verso il basso se pensi che mi sbagli / impreciso / ecc ...

(Fammi sapere se questo non è compatibile con l'etichetta SE, essendo questa la mia prima domanda ti chiedo clemenza se sto violando qualsiasi regola)

— gcoll
fonte

Mentre studiavo la sufficienza mi sono imbattuto nella tua domanda perché volevo anche capire l'intuizione di Da quello che ho raccolto questo è quello che mi viene in mente (fammi sapere cosa ne pensi, se ho fatto degli errori, ecc.).

Sia $X_1,\ldots,X_n$ un campione casuale da una distribuzione di Poisson con media . $\theta>0$

Sappiamo che è una statistica sufficiente per , poiché la distribuzione condizionale di dato è privo di , in altre parole, non dipende da . $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

Ora, lo statistico sa che e crea valori casuali da questa distribuzione: $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

Per i valori che lo statistico ha creato, ne prende la somma e chiede allo statistico quanto segue: $A$ $B$

"Ho questi valori di esempio presi da una distribuzione di Poisson. Sapendo che , cosa puoi dirmi di questa distribuzione?" $x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$

Quindi, sapendo solo che (e il fatto che il campione sia nato da una distribuzione di Poisson) è sufficiente per lo statista dire qualcosa su ? Poiché sappiamo che questa è una statistica sufficiente, sappiamo che la risposta è "sì". $\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$

Per ottenere qualche intuizione sul significato di ciò, facciamo quanto segue (tratto da "Introduzione alla statistica matematica" di Hogg & Mckean & Craig, 7a edizione, esercizio 7.1.9):

" decide di creare alcune false osservazioni, che chiama (come sa che probabilmente non saranno uguali ai valori originali ) come segue. Nota che la probabilità condizionale di Poisson indipendente le variabili casuali uguale a , dato , è $B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

since $Y=\sum Z_i$ has a Poisson distribution with mean $n \theta$ . The latter distribution is multinomial with $y$ independent trials, each terminating in one of $n$ mutually exclusive and exhaustive ways, each of which has the same probability $1/n$ . Accordingly, $B$ runs such a multinomial experiment $y$ independent trials and obtains $z_1,\ldots,z_n$ ."

This is what the exercise states. So, let's do exactly that:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

And let's see what $Z$ looks like (I'm also plotting the real density of Poisson(4) for $k=0,1,\ldots,13$ - anything above 13 is pratically zero -, for comparison):

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

So, knowing nothing about $\theta$ and knowing only the sufficient statistic $Y=\sum X_i$ we were able to recriate a "distribution" that looks a lot like a Poisson(4) distribution (as $n$ increases, the two curves become more similar).

Now, comparing $X$ and $Z|y$ :

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

We see that they are pretty similar, as well (as expected)

So, "for the purpose of making a statistical decision, we can ignore the individual random variables $X_i$ and base the decision entirely on the $Y=X_1+X_2+\cdots+X_n$ " (Ash, R. "Statistical Inference: A concise course", page 59).

— Gus_est
fonte

Let me give another perspective that may help. This is also qualitative, but there is a rigorous version of that particularly important in Information Theory - known as Markov property.

In the beginning, we have two objects, data (coming from a Random Variable, call it X) and parameter, $\theta$ (another rv, implicitly assumed since we are talking about its estimator). These two, are assumed to be dependent (otherwise, there is no point in trying to estimate one from the other). Now, the third object enters the game, Sufficient Statistic, T. The intuitive idea when we say T is enough to estimate $\theta$ really means that if we know T (ie conditioned on T), X provides no additional info, that is, X and $\theta$ are independent. In other word, knowledge of X is equivalent to knowledge of T as far as estimation of $\theta$ is concerned. Note that in probabilities are where all the uncertainties are captured, and hence "any estimate" when (conditional) probabilities are independent (eg conditional densities factorize).

— Mahdi
fonte