Perché la definizione di uno stimatore coerente è così com'è? Che dire delle definizioni alternative di coerenza?

Citazione da Wikipedia:

In statistica, uno stimatore coerente o uno stimatore asintoticamente coerente è uno stimatore - una regola per calcolare le stime di un parametro avendo la proprietà che quando il numero di punti dati utilizzati aumenta indefinitamente, la sequenza risultante di stime converge in probabilità a . $θ^*$ $θ^*$

Per rendere precisa questa affermazione, sia $\theta^*$ il valore del parametro vero che si desidera stimare e sia $\hat\theta(S_n)$ la regola per la stima di questo parametro in funzione dei dati. Quindi la definizione di coerenza di uno stimatore può essere espressa nel modo seguente:

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

la mia domanda sembra superficiale a prima vista ma è: perché la parola "coerenza / coerenza" è stata usata per descrivere questo comportamento di uno stimatore?

Il motivo per cui mi importa di questo è perché per me, intuitivamente, la parola coerente significa qualcosa di diverso (o almeno mi sembra diverso, forse possono essere mostrati uguali). Lascia che ti dica cosa significa per mezzo di un esempio. Dì che "tu" sei costantemente "buono" (per qualche definizione di bene), quindi coerente significa che ogni volta che hai la possibilità di dimostrare / mostrarmi che sei buono, davvero mi dimostri che sei buono, ogni volta (o almeno la maggior parte delle volte).

Consente di applicare la mia intuizione per definire la coerenza di uno stimatore. Lascia che "tu" sia la funzione informatica $\hat{\theta}$ e che "buono" significhi quanto sei lontano dalla vera stima $\theta^*$ (buono, nel senso della norma $l_1$ , perché no). Quindi una migliore definizione di coerenza sarebbe:

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

Anche se potrebbe essere una definizione meno utile di coerenza, per me ha più senso il modo in cui definirei coerenza, perché per qualsiasi set di training / campione che passi al mio stimatore , sarò in grado di fare un buon lavoro, cioè farò costantemente bene. Sono consapevole che è un po 'irrealistico farlo per tutte le n (probabilmente impossibile), ma possiamo correggere questa definizione dicendo: $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

cioè per n sufficientemente grande, il nostro stimatore non farà peggio di (cioè non più di lontano dalla "verità") dal vero (l' sta cercando di catturare l'intuizione di cui hai bisogno almeno un certo numero di esempi per imparare / stimare qualcosa, e una volta raggiunto quel numero, il tuo stimatore farà bene la maggior parte delle volte se è coerente nel modo in cui stiamo cercando di definirlo). $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

Tuttavia, la definizione precedente è troppo forte, forse potremmo permetterci di avere una bassa probabilità di essere lontani da per la maggior parte degli insiemi di addestramento di dimensione (cioè non richiedere questo per tutti , ma oltre la distribuzione di o qualcosa del genere). Quindi avremo un errore elevato solo molto raramente per la maggior parte dei set di campioni / training che abbiamo. $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

Ad ogni modo, la mia domanda è: queste definizioni proposte di "coerenza" sono effettivamente le stesse della definizione "ufficiale" di coerenza, ma è difficile provare l'equivalenza? Se conosci la prova per favore condividila! O il mio intuito è completamente spento e c'è un motivo più profondo per scegliere la coerenza della definizione nel modo in cui viene generalmente definita? Perché la coerenza ("ufficiale") è definita così com'è?

Alcuni dei miei pensieri su una prova del candidato per una sorta di equivalenza, o forse somiglianza tra la mia nozione di coerenza e la nozione accettata di coerenza potrebbero essere di svelare la definizione di un limite nella definizione ufficiale di coerenza usando il definizione di un limite. Tuttavia, non ero sicuro al 100% su come farlo e, anche se ci provassi, la definizione ufficiale di coerenza non sembra prendere in considerazione parlando di tutti i potenziali set di addestramento / campione. Dal momento che credo che siano equivalenti, la definizione ufficiale che ho fornito è incompleta (ovvero perché non parla dei set di dati che potremmo avere o di tutti i diversi set di dati che potrebbero generare i nostri set di campioni)? $(\epsilon, \delta)-$

Uno dei miei ultimi pensieri è che qualsiasi definizione che forniamo dovrebbe anche essere precisa rispetto alla distribuzione di probabilità di cui parliamo, è o è . Penso che un candidato dovrebbe anche essere preciso se ciò che garantisce, se garantisce che sia scritto su una distribuzione fissa o su tutte le distribuzioni possibili sui set di addestramento ... giusto? $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— Charlie Parker
fonte

(+1) Pensiero creativo. Grazie per averlo condiviso con noi. Credo che sarò in grado di fornire alcuni pensieri come risposta qui.

— Alecos Papadopoulos,

La prima definizione è di scarsa utilità perché richiede che tutti gli stimatori siano estremamente precisi. La seconda non ha senso perché tenta di controllare una singola variabile logica con più quantificatori.

n

$n$

— whuber

Considera la seconda affermazione provvisoria del PO, leggermente modificata,

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

Stiamo esaminando il limite nella sequenza di numeri reali $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

indicizzato da . Se questa sequenza ha un limite come , chiamalo semplicemente , lo avremo $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

Quindi se assumiamo (o richiediamo) , essenzialmente assumiamo (o richiediamo) che il limite come esiste ed è uguale a zero, . $(1)$ $n\rightarrow \infty$ $p=0$

Quindi legge "il limite di come è ". Qual è esattamente l'attuale definizione di coerenza (e sì, copre "tutti i possibili campioni") $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

Quindi sembra che l'OP abbia essenzialmente proposto un'espressione alternativa per la stessa proprietà esatta, e non per una proprietà diversa, dello stimatore.

ADDENDUM (dimenticato la parte storica)

Nelle sue "Fondamenti della teoria della probabilità" (1933), Kolmogorov menziona in una nota a piè di pagina che (il concetto di convergenza nella probabilità)

"... è dovuto a Bernoulli; il suo trattamento completamente generale è stato introdotto da EESlutsky".

(nel 1925). Il lavoro di Slutsky è in tedesco - potrebbe esserci persino un problema di come la parola tedesca è stata tradotta in inglese (o il termine usato da Bernoulli). Ma non provare a leggere troppo in una parola.

— Alecos Papadopoulos
fonte