Perché ci preoccupiamo così tanto dei termini di errore normalmente distribuiti (e dell'omoschedasticità) nella regressione lineare quando non è necessario?

Suppongo di sentirmi frustrato ogni volta che sento qualcuno dire che la non normalità dei residui e / o l'eteroschedasticità violano le ipotesi OLS. Per stimare i parametri in un modello OLS nessuna di queste assunzioni è necessaria dal teorema di Gauss-Markov. Vedo come questo conta nei test di ipotesi per il modello OLS, perché supponendo che queste cose ci forniscano formule precise per i test t, i test F e le statistiche Wald più generali.

Ma non è troppo difficile fare test di ipotesi senza di loro. Se abbandoniamo solo l'omoschedasticità, possiamo calcolare facilmente errori standard robusti ed errori standard raggruppati. Se abbandoniamo del tutto la normalità, possiamo usare il bootstrap e, data un'altra specifica parametrica per i termini di errore, il rapporto di verosimiglianza e i test del moltiplicatore di Lagrange.

È un peccato che lo insegniamo in questo modo, perché vedo molte persone alle prese con ipotesi che non devono incontrare in primo luogo.

Perché sottolineiamo così fortemente questi presupposti quando abbiamo la capacità di applicare facilmente tecniche più robuste? Mi sto perdendo qualcosa di importante?

In Econometria, diremmo che la non normalità viola le condizioni del Modello di regressione lineare normale classica, mentre l'eteroschedasticità viola sia le assunzioni del CNLR sia del Modello di regressione lineare classica.

Ma anche quelli che dicono "... viola OLS" sono giustificati: il nome dei minimi quadrati ordinari deriva direttamente da Gauss e si riferisce essenzialmente al normale errori. In altre parole "OLS" non è un acronimo per la stima dei minimi quadrati (che è un principio e un approccio molto più generali), ma del CNLR.

Ok, questa era storia, terminologia e semantica. Comprendo il nocciolo della domanda del PO come segue: "Perché dovremmo enfatizzare l'ideale, se abbiamo trovato soluzioni al caso in cui non è presente?" (Perché le ipotesi del CNLR lo sono ideali, nel senso che forniscono eccellenti proprietà dello stimatore del minimo quadrato " " e senza la necessità di ricorrere a risultati asintotici. Ricorda anche che OLS è la massima probabilità quando gli errori sono normali ).

Come ideale, è un buon posto per iniziare a insegnare . Questo è ciò che facciamo sempre nell'insegnare qualsiasi tipo di argomento: situazioni "semplici" sono situazioni "ideali", libere dalle complessità che si incontreranno nella vita reale e nella ricerca reale, e per le quali non esistono soluzioni definite .

E questo è ciò che trovo problematico riguardo al post del PO: scrive di robusti errori standard e bootstrap come se fossero "alternative superiori", o soluzioni infallibili alla mancanza di detti presupposti in discussione per i quali inoltre il PO scrive

"..assunzioni che le persone non devono incontrare"

Perché? Perché ci sono alcuni metodi per affrontare la situazione, metodi che hanno una certa validità ovviamente, ma sono tutt'altro che ideali? Bootstrap ed errori standard robusti all'eteroschedasticità non sono le soluzioni - se lo fossero davvero, sarebbero diventati il ​​paradigma dominante, inviando il CLR e il CNLR ai libri di storia. Ma non lo sono.

Quindi partiamo dall'insieme di ipotesi che garantiscono quelle proprietà dello stimatore che abbiamo ritenuto importanti (è un'altra discussione se le proprietà designate come desiderabili siano effettivamente quelle che dovrebbero essere), in modo da rimanere visibili che qualsiasi violazione di esse, ha conseguenze che non possono essere completamente compensate con i metodi che abbiamo trovato per far fronte all'assenza di questi presupposti. Sarebbe davvero pericoloso, scientificamente parlando, trasmettere la sensazione che "possiamo avviarci fino alla verità della questione", perché, semplicemente, non possiamo.

Quindi, rimangono soluzioni imperfette a un problema , non un modo alternativo e / o decisamente superiore di fare le cose. Pertanto, dobbiamo prima insegnare la situazione senza problemi, quindi indicare i possibili problemi e quindi discutere le possibili soluzioni. Altrimenti, eleveremmo queste soluzioni a uno status che in realtà non hanno.

Se avessimo tempo nella classe in cui abbiamo introdotto per la prima volta modelli di regressione per discutere del bootstrap e delle altre tecniche che hai citato (compresi tutti i loro presupposti, insidie, ecc.), Sarei d'accordo con te che non è necessario parlare di normalità e ipotesi di omoscedasticità. Ma in verità, quando viene introdotta la regressione per la prima volta, non abbiamo il tempo di parlare di tutte quelle altre cose, quindi preferiremmo che gli studenti fossero conservatori e controllassero cose che potrebbero non essere necessarie e consultare uno statistico (o prendere un'altra statistica classe o 2 o 3, ...) quando le ipotesi non valgono.

Se dici agli studenti che quei presupposti non contano tranne quando ..., la maggior parte ricorderà solo la parte non importante e non quella importante quando le parti.

Se abbiamo un caso con varianze disuguali, allora sì, possiamo ancora adattare una linea dei minimi quadrati, ma è ancora la linea "migliore"? o sarebbe meglio consultare qualcuno con più esperienza / formazione su come adattare le linee in quel caso. Anche se siamo soddisfatti della linea dei minimi quadrati, non dovremmo riconoscere che le previsioni avranno proprietà diverse per i diversi valori dei predittori? Pertanto, il controllo di variazioni ineguali è utile per interpretazioni successive, anche se non ne abbiamo bisogno per i test / intervalli / ecc. che stiamo usando.

1) raramente le persone vogliono solo stimare. Di solito l'inferenza - CI, IP, test - è l'obiettivo, o almeno parte di esso (anche se a volte viene eseguito in modo relativamente informale)

2) Cose come il teorema di Gauss Markov non sono necessariamente di grande aiuto - se la distribuzione è sufficientemente lontana dalla norma, uno stimatore lineare non è molto utile. Non ha senso ottenere il BLU se nessuno stimatore lineare è molto buono.

3) cose come gli stimatori sandwich implicano un gran numero di parametri impliciti. Potrebbe essere ancora ok se hai molti dati, ma molte volte le persone non lo fanno.

4) Gli intervalli di predizione si basano sulla forma della distribuzione condizionale, compresa una buona padronanza della varianza durante l'osservazione: non è possibile sviare facilmente i dettagli con un PI.

5) cose come il bootstrap sono spesso utili per campioni molto grandi. A volte lottano in piccoli campioni - e anche in campioni di dimensioni moderate, spesso troviamo che le proprietà di copertura effettive non sono come pubblicizzate.

Vale a dire: poche cose sono il tipo di panacea che le persone vorrebbero che fossero. Tutte queste cose hanno il loro posto, e ci sono certamente molti casi in cui (diciamo) la normalità non è richiesta, e dove la stima e l'inferenza (test e IC) possono essere ragionevolmente fatte senza necessariamente aver bisogno di normalità, varianza costante e così via.

Una cosa che spesso sembra essere dimenticata sono altre ipotesi parametriche che potrebbero essere fatte invece. Spesso le persone conoscono abbastanza una situazione per fare un'ipotesi parametrica abbastanza decente (ad esempio dire ... che la risposta condizionale tenderà ad essere distorta correttamente con sd praticamente proporzionale alla media potrebbe portarci a considerare un modello gamma o lognormale); spesso ciò può far fronte sia all'eteroschedasticità che alla non normalità in una volta sola.

Uno strumento molto utile è la simulazione: con ciò possiamo esaminare le proprietà dei nostri strumenti in situazioni molto simili a quelle da cui sembrano provenire i nostri dati e quindi utilizzarli con la consolante consapevolezza di avere buone proprietà in quei casi ( o, a volte, vedere che non funzionano così come potremmo sperare).