Miglioramento dello stimatore minimo

Supponiamo che io abbia parametri positivi per stimare e le corrispondenti stime stimate prodotte dagli stimatori , ovvero , e così via.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Vorrei stimare $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ usando le stime a portata di mano. Chiaramente lo stimatore ingenuo $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$ è di parte inferiore come

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Supponiamo di avere anche la matrice di covarianza degli stimatori corrispondenti $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$ . È possibile ottenere una stima imparziale (o meno distorta) del minimo utilizzando le stime fornite e la matrice di covarianza?

Non ho una risposta chiara sull'esistenza di uno stimatore imparziale. Tuttavia, in termini di errore di stima, stimare è un problema intrinsecamente difficile in generale.$\min(\mu_1, \dots, \mu_n)$

Ad esempio, lascia e . Sia la quantità target e è una stima di . Se utilizziamo lo stimatore "ingenuo" dove , quindi, l' errore di stima è limitato da fino a costante. (Notare che l'errore di stima per ogni è ). Certo, seμ = ( μ 1 , ... , μ n ) θ = min i μ i $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$θ = min i ( ˉ Y i ) ¯ Y i = $\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ σ $\mu_i$ μiσσ$\frac{\sigma^2}{N}$$\mu_i$sono molto distanti tra loro e è molto piccolo, l'errore di stima dovrebbe essere ridotto a . Tuttavia, nel peggiore dei casi, non esiste una stima di meglio dello stimatore ingenuo. Puoi mostrare con precisione che dove l'infimo prende il sopravvento su tutto il possibile estremo di basato sul campione e il supremum prende in carico tutta la possibile configurazione di 's.$\sigma$ θinf θ sup μ 1 ,..., μ n E[ θ -θ]2⪆σ2log$\frac{\sigma^2}{N}$$\theta$ θY1,…,YNμ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Pertanto lo stimatore ingenuo è minimox ottimale fino a costante, e non esiste una stima migliore di in questo senso.$\theta$

EDIT: Quanto segue risponde a una domanda diversa da quella che è stata posta - è inquadrata come se fosse considerato casuale, ma non funziona quando è considerato fisso, il che è probabilmente ciò che l'OP aveva in mente. Se è corretto, non ho una risposta migliore diμ μ min ( μ 1 , . . . , μ n$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Se consideriamo solo le stime per media e covarianza, possiamo trattare come un singolo campione dalla distribuzione normale multivariata. Un modo semplice per ottenere una stima del minimo è quindi disegnare un gran numero di campioni da , calcolare il minimo di ciascun campione e quindi prendere la media di quei minimi.M V N ( μ , Σ $(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

La procedura sopra descritta e i suoi limiti possono essere compresi in termini bayesiani - prendendo la notazione da Wikipedia su MVN , se è la covarianza nota degli stimatori e abbiamo un'osservazione, la distribuzione posteriore congiunta è dove e derivano dal precedente dove, prima di osservare qualsiasi dato prendiamo il precedente ). Dal momento che probabilmente non sei disposto a mettere i priori su , possiamo prendere il limite come , risultando in precedenza piatta e il posteriore diventaμ ~ M V N ( μ + m λ $\Sigma$λ0mμ~MVN(λ0,m-1Σμm→0μ~MVN( μ ,Σ)$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Tuttavia, dato il precedente piatto, stiamo implicitamente assumendo che gli elementi di differiscano molto (se tutti i numeri reali sono ugualmente probabili, è molto improbabile ottenere valori simili).$\mu$

Una rapida simulazione mostra che la stima con questa procedura sovrastima leggermente quando gli elementi di differiscono molto e sottostima quando gli elementi sono simili. Si potrebbe sostenere che senza alcuna conoscenza preliminare si tratta di un comportamento corretto. Se sei disposto a dichiarare almeno alcune informazioni precedenti (ad es. ), i risultati potrebbero diventare un po 'meglio comportati per il tuo caso d'uso.μ m i n ( μ ) m = $min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Se sei disposto ad assumere più struttura, potresti essere in grado di scegliere una distribuzione migliore rispetto alla multivariete normale. Inoltre potrebbe avere senso usare Stan o altri campionatori MCMC per adattarsi in primo luogo alle stime di . Questo ti porterà una serie di campioni di che riflettono l'incertezza negli stessi stimatori, inclusa la loro struttura di covarianza (forse più ricca di ciò che MVN può fornire). Ancora una volta è possibile calcolare il minimo per ciascun campione per ottenere una distribuzione posteriore sui minimi e prendere la media di questa distribuzione se è necessaria una stima puntuale.( μ 1 , . . . , μ n$\mu$$(\mu_1, ..., \mu_n)$