Numero previsto di volte in cui la media empirica supererà un valore

Data una sequenza di variabili casuali iid, diciamo per , sto cercando di limitare il numero previsto di volte la media empirica supererà un valore, , mentre continuiamo a disegnare campioni, ovvero: $X_i \in [0,1]$ $i = 1,2,...,n$ $\frac{1}{n}\sum_{i=1}^n X_i$ $c \geq 0$

T \overset{d e f}{=} \sum_{j = 1}^{n} P ({\frac{1}{j} \sum_{i = 1}^{j} X_{i} \geq c})

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \mathbb{P} \left(\left\{ \frac{1}{j}\sum_{i=1}^j X_i \geq c\right\}\right)$

Se assumiamo che per alcuni , possiamo usare la disuguaglianza di Hoeffding per arrivare a $c = a + \mathbb{E}[X]$ $a > 0$

\begin{aligned} T & \leq \sum_{j = 1}^{n} e^{- 2 j a^{2}} \\ = \frac{1 - e^{- 2 a^{2} n}}{e^{2 a^{2}} - 1} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n e^{-2ja^2} \\ & = \frac{1 - e^{-2 a^2 n}}{e^{2 a^2}-1} \end{align}$

Che sembra bello (forse) ma in realtà è abbastanza legato, ci sono modi migliori per limitare questo valore? Mi aspetto che ci possa essere un modo poiché i diversi eventi (per ogni ) sono chiaramente non indipendenti, non sono a conoscenza di alcun modo per sfruttare questa dipendenza. Inoltre, sarebbe bello rimuovere la restrizione che è maggiore della media. $j$ $c$

modifica : la restrizione che sia maggiore della media può essere rimossa se usiamo la disuguaglianza di Markov come segue: $c$

\begin{aligned} T & \leq \sum_{j = 1}^{n} \frac{\frac{1}{j} E [X]}{c} \\ = \frac{E [X] H_{n}}{c} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n \frac{\frac{1}{j}\mathbb{E}[X]}{c} \\ & = \frac{\mathbb{E}[X]H_n}{c} \end{align}$ Che è più generale, ma molto peggio del limite sopra, sebbene sia chiaro che deve divergere ogni volta che .

T

$\mathcal{T}$

c \leq E [X]

$c \leq \mathbb{E}[X]$

mathematical-statistics expected-value bounds

— fairidox
fonte

La tua definizione di non coincide con la tua descrizione. Se i " " fossero rimossi sarebbe il numero previsto di superamenti di , ma come scritto è una combinazione lineare dei tempi . Non è manifestamente un'aspettativa perché le probabilità non si escludono a vicenda. Ad esempio, quando , .

T

$\mathcal{T}$

j \times

$j\times$

c

$c$

c \leq 0

$c\le 0$

T = n (n + 1) / 2

$\mathcal{T} = n(n+1)/2$

— whuber

@whuber oh, giusto, buon punto grazie, l'ho corretto sopra.

— fairidox,

Ho notato che hai cambiato il limite superiore. Ora sembra essere negativo ;-).

— whuber

La " " dell'esponenziale non dovrebbe essere quadrata? - Ok, semplifica con il dominio [0,1]

j

$j$

— Alecos Papadopoulos il

Questo è un approccio piuttosto fatto a mano, e apprezzerei molto alcuni commenti su di esso (e quelli critici sono di solito i più utili). Se ho capito bene, l'OP calcola la media del campione , dove ogni campione contiene la precedente osservazione +1 del campione da un nuovo Indica la distribuzione di ogni media del campione. Quindi possiamo scrivere $\bar x_j$ $F_j$

T \overset{d e f}{=} \sum_{j = 1}^{n} (1 - F_{j} (c)) = n - \sum_{j = 1}^{n} F_{j} (c)

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \left(1-F_j(c)\right) = n- \sum_{j=1}^n F_j(c)$

Prendere in considerazione un campione di dimensioni dopo il quale la distribuzione della media campionaria è quasi normale, indicare che . Quindi possiamo scrivere $m$ $\hat G$

T = n - \sum_{j = 1}^{m} F_{j} (c) - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c) < n - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c)

$\mathcal{T} = n- \sum_{j=1}^m F_j(c)-\sum_{j=m+1}^n \hat G_j(c) < n-\sum_{j=m+1}^n \hat G_j(c)$

Risolvendo otteniamo dove è lo standard normale cdf, è la deviazione standard del processo iid e è la sua media. Inserendo nel limite e riordinando otteniamo $\hat G_j(c)$

{\hat{G}}_{j} (c) = 1 - Φ (\frac{\sqrt{j}}{σ} (μ - c))

$\hat G_j(c) = 1- \Phi\left(\frac{\sqrt j}{\sigma}(\mu-c)\right)$

Φ

$\Phi$

σ

$\sigma$

μ

$\mu$

T < m + \sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\mathcal{T} < m+\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

Si noti che questo limite dipende anche dalla varianza del processo. È un limite migliore di quello presentato nella domanda? Ciò dipenderà in modo cruciale da quanto "rapidamente" la distribuzione della media del campione diventa "quasi normale". Per fare un esempio numerico, supponi che . Supponiamo anche che le variabili casuali siano uniformi in . Quindi e . Considera una deviazione del 10% dalla media, ovvero imposta . quindi: già per il limite che propongo (che è significativo per ) diventa più stretto. Per il limite di Hoeffding è $m= 30$ $[0,1]$ $\sigma = \sqrt \frac{1}{12}$ $\mu = \frac 12$ $a=0.05$ $n=34$ $n>30$ $n=100$ $78.5$ mentre il limite che propongo è . Il limite di Hoeffding converge a mentre il limite che propongo a Se si aumenta discrepanza tra i due limiti si riduce ma rimane visibile: per una deviazione del 20%, , il limite di Hoeffding converge a mentre il rilegato propongo converge a (cioè la somma dei normali file PDF contribuisce molto poco al limite complessivo). Un po 'più in generale, notiamo che per converge il limite di Hoeffding $36.2$ $\approx 199.5$ $\approx 38.5$ $a$ $a=0.1$ $49.5$ $30.5$
$n\rightarrow \infty$

H_{b} \to \frac{1}{e^{2 a^{2}} - 1}

$H_b\rightarrow \frac{1}{e^{2 a^2}-1}$ mentre il mio legato ad

A_{b} \to m

$A_b \rightarrow m$

Poiché per piccoli valori di (che è piuttosto il caso di interesse) diventa un numero elevato, esiste ancora il caso in cui può sovraperformare in , anche se il campione è tale che la distribuzione della media del campione converge lentamente in la distribuzione normale. $a$ $H_b$ $A_b$

— Alecos Papadopoulos
fonte

" (cioè non oltre la soglia presunta della dimensione del campione è necessario ottenere l'approssimazione normale nella distribuzione della media del campione) " di cosa stai parlando qui?

— Glen_b -Restate Monica

Niente di importante. Mentre scrivo alcune righe sopra, una regola empirica in modo che la distribuzione della media del campione sia "molto" come normale, è che abbiamo bisogno di almeno una dimensione del campione di 30. Quindi per la dimensione del campione 100 e una deviazione del 20% caso, il mio limite è cioè - in altre parole il parte del limite contribuisce molto poco.

\approx 30.5

$\approx 30.5$

m + 0.5

$m + 0.5$

\sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

— Alecos Papadopoulos,

A meno che tu non possa dichiarare le circostanze in cui si trova , per favore evita di chiamare quella cosa una regola empirica in senso generale. La cifra di 30 è completamente arbitraria (di solito o troppo debole o troppo forte), e che anche 30 si presenta nel tuo caso, credo una semplice coincidenza.

— Glen_b -Restate Monica

@Glen_b "30" non è stata nemmeno una coincidenza - l'ho usato solo per fornire un esempio numerico. Non ho obiezioni al problema, non mi piacciono le "regole empiriche" (specialmente quando sono dubbie). Ho apportato alcune modifiche alla mia risposta. Grazie per l'input.

— Alecos Papadopoulos,

@Glen_b Grazie per la memoria forse non stazionaria (cioè lunga)!

— Alecos Papadopoulos,