OLS è BLU. Ma cosa succede se non mi interessa l'imparzialità e la linearità?

Il teorema di Gauss-Markov ci dice che lo stimatore OLS è il miglior stimatore imparziale lineare per il modello di regressione lineare.

Ma supponiamo che non mi interessi della linearità e dell'imparzialità. Esiste poi un altro stimatore (possibile non lineare / distorto) per il modello di regressione lineare che è il più efficiente secondo le ipotesi di Gauss-Markov o qualche altra serie di ipotesi generali?

Esiste ovviamente un risultato standard: lo stesso OLS è il miglior stimatore imparziale se, oltre alle ipotesi di Gauss-Markov, assumiamo anche che gli errori siano normalmente distribuiti. Per alcune altre particolari distribuzioni di errori ho potuto calcolare il corrispondente stimatore della massima verosimiglianza.

Ma mi chiedevo se c'è qualche stimatore che è migliore di OLS in alcune circostanze relativamente generali?

Le stime non distorte sono tipiche nei corsi di statistica introduttiva perché sono: 1) classico, 2) facile da analizzare matematicamente. Il limite inferiore di Cramer-Rao è uno degli strumenti principali per 2). Lontano da stime imparziali esiste un possibile miglioramento. Il compromesso della variazione di bias è un concetto importante nelle statistiche per comprendere come le stime distorte possono essere migliori delle stime imparziali.

Sfortunatamente, gli stimatori distorti sono in genere più difficili da analizzare. In regressione, gran parte della ricerca degli ultimi 40 anni ha riguardato una stima distorta. Ciò è iniziato con la regressione della cresta (Hoerl e Kennard, 1970). Vedi Frank and Friedman (1996) e Burr and Fry (2005) per alcune recensioni e approfondimenti.

Il compromesso della variazione di polarizzazione diventa più importante nelle dimensioni elevate, dove il numero di variabili è elevato. Charles Stein ha sorpreso tutti quando ha dimostrato che nel problema delle medie normali la media del campione non è più ammissibile se (vedi Stein, 1956). Lo stimatore di James-Stein (James e Stein del 1961) fu il primo esempio di uno stimatore che domina la media del campione. Tuttavia, è anche inammissibile.$p \geq 3$

Una parte importante del problema della variazione di pregiudizio è la determinazione di come compensare la distorsione. Non esiste un unico "miglior" stimatore . La scarsità è stata una parte importante della ricerca negli ultimi dieci anni. Vedi Hesterberg et al. (2008) per una revisione parziale.

La maggior parte degli stimatori fa riferimento sopra sono non-lineare . Anche la regressione della cresta non è lineare una volta utilizzati i dati per determinare il parametro cresta.$Y$

Non so se stai bene con la stima di Bayes? In caso affermativo, a seconda della funzione Perdita è possibile ottenere stime Bayes diverse. Un teorema di Blackwell afferma che le stime di Bayes non sono mai imparziali. Un argomento teorico decisionale afferma che ogni regola ammissibile ((cioè o ogni altra regola con cui viene confrontata, esiste un valore del parametro per il quale il rischio della presente regola è (rigorosamente) inferiore a quello della regola contro cui è confrontato)) è una regola (generalizzata) di Bayes.

Gli stimatori di James-Stein sono un'altra classe di stimatori (che possono essere derivati ​​asintoticamente dai metodi bayesiani) che in molti casi sono migliori dell'OLS.

OLS può essere inammissibile in molte situazioni e James-Stein Estimator ne è un esempio. (chiamato anche paradosso di Stein).

C'è un bel documento di revisione di Kay ed Eldar sulla stima distorta allo scopo di trovare stimatori con errore quadratico medio minimo.