Perché ci preoccupiamo così tanto dei termini di errore normalmente distribuiti (e dell'omoschedasticità) nella regressione lineare quando non è necessario?


52

Suppongo di sentirmi frustrato ogni volta che sento qualcuno dire che la non normalità dei residui e / o l'eteroschedasticità violano le ipotesi OLS. Per stimare i parametri in un modello OLS nessuna di queste assunzioni è necessaria dal teorema di Gauss-Markov. Vedo come questo conta nei test di ipotesi per il modello OLS, perché supponendo che queste cose ci forniscano formule precise per i test t, i test F e le statistiche Wald più generali.

Ma non è troppo difficile fare test di ipotesi senza di loro. Se abbandoniamo solo l'omoschedasticità, possiamo calcolare facilmente errori standard robusti ed errori standard raggruppati. Se abbandoniamo del tutto la normalità, possiamo usare il bootstrap e, data un'altra specifica parametrica per i termini di errore, il rapporto di verosimiglianza e i test del moltiplicatore di Lagrange.

È un peccato che lo insegniamo in questo modo, perché vedo molte persone alle prese con ipotesi che non devono incontrare in primo luogo.

Perché sottolineiamo così fortemente questi presupposti quando abbiamo la capacità di applicare facilmente tecniche più robuste? Mi sto perdendo qualcosa di importante?


2
Sembra essere una cosa disciplinare. Nella mia esperienza, agli estremi, i testi di Econometria coprono quasi sempre le inferenze che ogni assunzione acquista e i testi di Psicologia non sembrano mai menzionare nulla sull'argomento.
conjugateprior il

12
L'omoscedasticità è necessaria affinché OLS sia BLU.
Momo,

4
Penso che tu abbia ragione, quei presupposti ricevono un'indebita attenzione. Fallimento della normalità o omoscedasticità condizionale. non è così dannoso per gli obiettivi inferenziali della maggior parte dei professionisti quanto l'endogeneità e le forme funzionali mal specificate.
CloseToC

2
@CloseToC questo è un ottimo punto. Spesso ci preoccupiamo così tanto dei tecnicismi statistici del modello di regressione che dimentichiamo il quadro più ampio ... il mio modello è correttamente specificato ed esogeno? Questo dovrebbe essere enfatizzato ripetutamente come una delle domande principali da porsi quando si crea un modello.
Zachary Blumenfeld,

Risposte:


25

In Econometria, diremmo che la non normalità viola le condizioni del Modello di regressione lineare normale classica, mentre l'eteroschedasticità viola sia le assunzioni del CNLR sia del Modello di regressione lineare classica.

Ma anche quelli che dicono "... viola OLS" sono giustificati: il nome dei minimi quadrati ordinari deriva direttamente da Gauss e si riferisce essenzialmente al normale errori. In altre parole "OLS" non è un acronimo per la stima dei minimi quadrati (che è un principio e un approccio molto più generali), ma del CNLR.

Ok, questa era storia, terminologia e semantica. Comprendo il nocciolo della domanda del PO come segue: "Perché dovremmo enfatizzare l'ideale, se abbiamo trovato soluzioni al caso in cui non è presente?" (Perché le ipotesi del CNLR lo sono ideali, nel senso che forniscono eccellenti proprietà dello stimatore del minimo quadrato " " e senza la necessità di ricorrere a risultati asintotici. Ricorda anche che OLS è la massima probabilità quando gli errori sono normali ).

Come ideale, è un buon posto per iniziare a insegnare . Questo è ciò che facciamo sempre nell'insegnare qualsiasi tipo di argomento: situazioni "semplici" sono situazioni "ideali", libere dalle complessità che si incontreranno nella vita reale e nella ricerca reale, e per le quali non esistono soluzioni definite .

E questo è ciò che trovo problematico riguardo al post del PO: scrive di robusti errori standard e bootstrap come se fossero "alternative superiori", o soluzioni infallibili alla mancanza di detti presupposti in discussione per i quali inoltre il PO scrive

"..assunzioni che le persone non devono incontrare"

Perché? Perché ci sono alcuni metodi per affrontare la situazione, metodi che hanno una certa validità ovviamente, ma sono tutt'altro che ideali? Bootstrap ed errori standard robusti all'eteroschedasticità non sono le soluzioni - se lo fossero davvero, sarebbero diventati il ​​paradigma dominante, inviando il CLR e il CNLR ai libri di storia. Ma non lo sono.

Quindi partiamo dall'insieme di ipotesi che garantiscono quelle proprietà dello stimatore che abbiamo ritenuto importanti (è un'altra discussione se le proprietà designate come desiderabili siano effettivamente quelle che dovrebbero essere), in modo da rimanere visibili che qualsiasi violazione di esse, ha conseguenze che non possono essere completamente compensate con i metodi che abbiamo trovato per far fronte all'assenza di questi presupposti. Sarebbe davvero pericoloso, scientificamente parlando, trasmettere la sensazione che "possiamo avviarci fino alla verità della questione", perché, semplicemente, non possiamo.

Quindi, rimangono soluzioni imperfette a un problema , non un modo alternativo e / o decisamente superiore di fare le cose. Pertanto, dobbiamo prima insegnare la situazione senza problemi, quindi indicare i possibili problemi e quindi discutere le possibili soluzioni. Altrimenti, eleveremmo queste soluzioni a uno status che in realtà non hanno.


Hmmm, se è quello che avevi voluto dire, potresti provare "completamente provato".
gung - Ripristina Monica

@gung No, no, i metodi sono "pienamente provati" in senso matematico, ma non infallibili per quanto riguarda ciò che effettivamente forniscono (questo "piccolo" dettaglio sugli asintotici di nuovo e quale sia il loro valore). La tua correzione è stata quella giusta.
Alecos Papadopoulos,

22

Se avessimo tempo nella classe in cui abbiamo introdotto per la prima volta modelli di regressione per discutere del bootstrap e delle altre tecniche che hai citato (compresi tutti i loro presupposti, insidie, ecc.), Sarei d'accordo con te che non è necessario parlare di normalità e ipotesi di omoscedasticità. Ma in verità, quando viene introdotta la regressione per la prima volta, non abbiamo il tempo di parlare di tutte quelle altre cose, quindi preferiremmo che gli studenti fossero conservatori e controllassero cose che potrebbero non essere necessarie e consultare uno statistico (o prendere un'altra statistica classe o 2 o 3, ...) quando le ipotesi non valgono.

Se dici agli studenti che quei presupposti non contano tranne quando ..., la maggior parte ricorderà solo la parte non importante e non quella importante quando le parti.

Se abbiamo un caso con varianze disuguali, allora sì, possiamo ancora adattare una linea dei minimi quadrati, ma è ancora la linea "migliore"? o sarebbe meglio consultare qualcuno con più esperienza / formazione su come adattare le linee in quel caso. Anche se siamo soddisfatti della linea dei minimi quadrati, non dovremmo riconoscere che le previsioni avranno proprietà diverse per i diversi valori dei predittori? Pertanto, il controllo di variazioni ineguali è utile per interpretazioni successive, anche se non ne abbiamo bisogno per i test / intervalli / ecc. che stiamo usando.


Capisco e apprezzo ciò che dici soprattutto che c'è un significativo vincolo di tempo. Quello che vedo nella mia istituzione è quando gli studenti lottano con questi presupposti che spesso non ricevono o non possono ricevere la consulenza necessaria. Quindi finiscono per selezionare i progetti sulla base di assunzioni di modello adeguate o di utilizzare impropriamente il modello classico per violare le assunzioni. Sostengo che insegnando tecniche più solide, gli studenti sarebbero meno limitati nelle loro scelte e quindi autorizzati a perseguire progetti di cui sono realmente appassionati.
Zachary Blumenfeld,

13
Si inizia sempre con un caso ideale durante l'insegnamento, quindi si affrontano tutti i tipi di complicazioni. A livello di dottorato in economia, insegnano tutti i tipi di cose strane, ma ci vuole tempo per arrivarci. Non penso che sia un problema di educazione che la maggior parte delle persone scenda dal treno da qualche parte intorno al livello di Master. In realtà, direi che il problema più grande è l'infestazione di parassiti da parte di "data scientist" a metà, con una conoscenza quasi nulla delle basi delle statistiche che applicano pacchetti R di fantasia a destra e sinistra, senza avere idea di cosa stiano facendo e lottando per dare un senso alle uscite.
Aksakal,

@Aksakal dove vedi esattamente questo gran numero di analisti troppo sicuri di sé e non qualificati? Perché quello che incontro più spesso è quasi l'opposto. Le persone hanno paura di provare le tecniche che hanno appreso se prima non sono state approvate da un esperto percepito. Proprio su questo sito, sono sicuro che hai visto le molte domande sull'effetto di "Sono autorizzato a ..." o "È valido per ..." quando una domanda più stagionata / costruttiva sarebbe " Che cosa ne sarebbe se ... "
rolando2,

18

1) raramente le persone vogliono solo stimare. Di solito l'inferenza - CI, IP, test - è l'obiettivo, o almeno parte di esso (anche se a volte viene eseguito in modo relativamente informale)

2) Cose come il teorema di Gauss Markov non sono necessariamente di grande aiuto - se la distribuzione è sufficientemente lontana dalla norma, uno stimatore lineare non è molto utile. Non ha senso ottenere il BLU se nessuno stimatore lineare è molto buono.

3) cose come gli stimatori sandwich implicano un gran numero di parametri impliciti. Potrebbe essere ancora ok se hai molti dati, ma molte volte le persone non lo fanno.

4) Gli intervalli di predizione si basano sulla forma della distribuzione condizionale, compresa una buona padronanza della varianza durante l'osservazione: non è possibile sviare facilmente i dettagli con un PI.

5) cose come il bootstrap sono spesso utili per campioni molto grandi. A volte lottano in piccoli campioni - e anche in campioni di dimensioni moderate, spesso troviamo che le proprietà di copertura effettive non sono come pubblicizzate.

Vale a dire: poche cose sono il tipo di panacea che le persone vorrebbero che fossero. Tutte queste cose hanno il loro posto, e ci sono certamente molti casi in cui (diciamo) la normalità non è richiesta, e dove la stima e l'inferenza (test e IC) possono essere ragionevolmente fatte senza necessariamente aver bisogno di normalità, varianza costante e così via.

Una cosa che spesso sembra essere dimenticata sono altre ipotesi parametriche che potrebbero essere fatte invece. Spesso le persone conoscono abbastanza una situazione per fare un'ipotesi parametrica abbastanza decente (ad esempio dire ... che la risposta condizionale tenderà ad essere distorta correttamente con sd praticamente proporzionale alla media potrebbe portarci a considerare un modello gamma o lognormale); spesso ciò può far fronte sia all'eteroschedasticità che alla non normalità in una volta sola.

Uno strumento molto utile è la simulazione: con ciò possiamo esaminare le proprietà dei nostri strumenti in situazioni molto simili a quelle da cui sembrano provenire i nostri dati e quindi utilizzarli con la consolante consapevolezza di avere buone proprietà in quei casi ( o, a volte, vedere che non funzionano così come potremmo sperare).


"raramente le persone vogliono solo stimare" - in finanza aziendale ed economia, le persone stimano molto per stimolare l'impatto di una certa variabile. Ho letto un sacco di articoli, in cui gli autori non osservano nemmeno gli intervalli di confidenza, notano il significato, ovviamente, sotto le normali ipotesi.
Aksakal,

6
@Aksakal bene, sì, ma se stanno prestando attenzione agli errori standard, o ai valori t, o ai valori p, ecc ... quindi, secondo i miei calcoli, non vogliono solo stimare. Sia che testino formalmente / costruiscano intervalli o meno, per quel tipo di guardare quelle altre cose - per quanto informalmente - per essere significative, dovrebbero avere significato in primo luogo.
Glen_b,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.