Coerenza asintotica con varianza asintotica diversa da zero: cosa rappresenta?

Il problema è già emerso, ma desidero porre una domanda specifica che tenterà di ottenere una risposta che lo chiarisca (e lo classifichi):

In "Poor Man's Asymptotics", si fa una chiara distinzione tra

(a) una sequenza di variabili casuali che converge in probabilità in una costante

in contrasto con

(b) una sequenza di variabili casuali che converge in probabilità in una variabile casuale (e quindi nella distribuzione ad essa).

Ma in "Wise Man's Asymptotics", possiamo anche avere il caso di

(c) una sequenza di variabili casuali che converge in probabilità in una costante mantenendo una varianza diversa da zero al limite.

La mia domanda è (rubando dalla mia risposta esplorativa di seguito):

Come possiamo capire uno stimatore che è asintoticamente coerente ma che ha anche una varianza finita diversa da zero? Cosa riflette questa varianza? In che modo il suo comportamento differisce da uno stimatore coerente "normale"?

Discussioni correlate al fenomeno descritto in (c) (vedi anche nei commenti):

— Alecos Papadopoulos
fonte

Il modo in cui capitalizzi "Poor Man's Asymptotics" mi fa pensare che mi manca la conoscenza di un riferimento (o forse l'ho visto ma l'ho dimenticato, il che equivale più o meno alla stessa cosa); o un vero libro o un giornale, o forse anche solo un riferimento culturale. Conosco "Poor Man's Data Augmentation" (Tanner e Wei), ma non credo che questo sia collegato a ciò a cui stai arrivando. Cosa mi sto perdendo?

— Glen_b -Restate Monica

@Glen_B Non ti perdi nulla - ho appena inventato il termine per contrastare il livello di conoscenza di (= accesso intellettuale a) Teoria asintotica che le persone come me hanno, contro, diciamo, quella di persone come cardinali. La capitalizzazione era solo una tattica di marketing.

— Alecos Papadopoulos,

Risposte:

27-10-2014: Sfortunatamente (per me lo è), nessuno ha ancora contribuito qui una risposta, forse perché sembra uno strano problema teorico "patologico" e niente di più?

Bene per citare un commento per l'utente Cardinale (che esplorerò successivamente)

"Ecco un esempio certamente assurdo, ma semplice. L'idea è quella di illustrare esattamente cosa può andare storto e perché. Ha applicazioni pratiche (la mia enfasi). Esempio: considera il tipico modello iid con un secondo momento finito. Let dove è indipendente da e ciascuno con probabilità ed è zero altrimenti, con arbitrario. Quindi è imparziale, con varianza limitata sotto da , e quasi sicuramente (è fortemente coerente). Lascio come esercizio il caso relativo al pregiudizio ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

La variabile casuale maverick qui è , quindi vediamo cosa possiamo dire al riguardo. La variabile ha il supporto con le corrispondenti probabilità . È simmetrico intorno allo zero, quindi abbiamo $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Questi momenti non dipendono da quindi immagino che ci sia permesso scrivere banalmente $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

In Poor Man's Asymptotics, conosciamo una condizione per i limiti dei momenti di eguagliare i momenti della distribuzione limitante. Se il momento della distribuzione del caso finito converge in una costante (come nel nostro caso), allora, se del resto, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

il limite del -esimo momento sarà il -esimo momento della distribuzione limitante. Nel nostro caso $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Per questo diverge per qualsiasi , quindi questa condizione sufficiente non vale per la varianza (vale per la media). In : qual è la distribuzione asintotica di ? Il CDF di converge in un CDF non degenerato al limite? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Non sembra: il supporto limitante sarà (se ci è permesso scrivere questo), e le probabilità corrispondenti . A me sembra una costante. Ma se non abbiamo una distribuzione limitante in primo luogo, come possiamo parlare dei suoi momenti? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Quindi, tornando allo stimatore , poiché converge anche in una costante, sembra che $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ non ha una distribuzione (non banale) limitante, ma ha una varianza al limite. O forse questa varianza è infinita? Ma una varianza infinita con una distribuzione costante?

Come possiamo capirlo? Cosa ci dice dello stimatore? Qual è la differenza essenziale, al limite, tra e ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

— Alecos Papadopoulos
fonte

Stupida richiesta di riferimento: hai una (buona) fonte per: "se il momento r converge in una costante, allora tutti i momenti con indice inferiore a r convergono ai momenti della distribuzione limitante?". So che è vero, ma non ho mai trovato una buona fonte

— Guillaume Dehaene,

In secondo luogo, il teorema che si tenta di utilizzare non può essere applicato in questo caso: per r = 2 (che è il caso che si desidera utilizzare: si desidera dimostrare che la varianza converge), a per qualsiasi strettamente positivo , il diverge!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

— Guillaume Dehaene,

Forse sarebbe bene in qualche modo eseguire il ping su @cardinal (in chat?) In modo che si unisca a questa discussione.

— ameba dice di reintegrare Monica il

Il cardinale @amoeba è uno stimatore che converge sulla vera risposta qui, ma ricordo di aver provato a impegnarlo nel passato senza successo.

— Alecos Papadopoulos,

@GuillaumeDehaene Un riferimento è AW Van der Vaart (1998) "Statistiche asintotiche", cap. 2.5 "Convergenza dei momenti". Viene fornito come esempio 2.21 del Teorema 2.20. E hai ragione: avevo l'impressione che fosse sufficiente avere delimitazione per finito - ma è il limsup che deve essere finito. Sto correggendo il mio post.

n

$n$

— Alecos Papadopoulos,

Non darò una risposta molto soddisfacente alla tua domanda perché mi sembra un po 'troppo aperta, ma lasciami provare a far luce sul perché questa domanda è difficile.

Penso che tu stia lottando con il fatto che le topologie convenzionali che usiamo sulle distribuzioni di probabilità e sulle variabili casuali sono cattive. Ho scritto un pezzo più grande su questo sul mio blog, ma lasciami provare a riassumere: puoi convergere nel senso debole (e della variazione totale) violando i presupposti di senso comune sul significato di convergenza.

Ad esempio, puoi convergere in topologia debole verso una costante pur avendo varianza = 1 (che è esattamente ciò che sta facendo la tua sequenza ). Esiste quindi una distribuzione limite (nella topologia debole) che è questa mostruosa variabile casuale che è il più delle volte uguale a 0 ma infinitesimamente raramente uguale all'infinito. $Z_n$

Personalmente prendo questo per significare che la topologia debole (e anche la topologia a variazione totale) è una cattiva nozione di convergenza che dovrebbe essere scartata. La maggior parte delle convergenze che effettivamente utilizziamo sono più forti di così. Tuttavia, non so davvero cosa dovremmo usare al posto della topologia debole così ...

Se vuoi davvero trovare una differenza essenziale tra e , ecco la mia opinione: entrambi gli stimatori sono equivalenti per la perdita di [0,1] (quando la dimensione del tuo errore non ha importanza). Tuttavia, è molto meglio se le dimensioni dei tuoi errori contano, perché volte fallisce catastroficamente. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

— Guillaume Dehaene
fonte

Uno stimatore è coerente nella probabilità ma non nell'MSE se esiste una probabilità arbitrariamente piccola di "esplosione" dello stimatore. Mentre una curiosità matematica interessante, per qualsiasi scopo pratico, questo non dovrebbe disturbarti. Per qualsiasi scopo pratico, gli stimatori hanno supporti finiti e quindi non possono esplodere (il mondo reale non è infinitamente piccolo, né grande).

Se desideri ancora invocare un'approssimazione continua del "mondo reale" e la tua approssimazione è tale che converge in probabilità e non in MSE, allora prendila così com'è: il tuo stimatore può avere ragione con probabilità arbitrariamente grande, ma ci sarà sempre una possibilità arbitrariamente piccola di esplodere. Fortunatamente, quando lo farà, noterai, quindi altrimenti puoi fidarti di esso. :-)

— JohnRos
fonte

Ho l'impressione che converga nel quadrato medio, poiché

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

— Alecos Papadopoulos,

La domanda riguarda in particolare l'interpretazione di uno stimatore che converge in probabilità e non in MSE (a causa di una varianza non prospettica).

— JohnRos

Hai ragione, ho appena confuso un segno più con uno meno.

— Alecos Papadopoulos,