Definizione e delimitazione del modello di regressione

Una domanda imbarazzantemente semplice, ma sembra che non sia mai stata posta su Cross Validated prima:

Qual è la definizione di un modello di regressione?

Anche una domanda di supporto,

Cosa non è un modello di regressione?

Per quanto riguarda quest'ultimo, sono interessato a esempi complicati in cui la risposta non è immediatamente ovvia, ad esempio ARIMA o GARCH.

— Richard Hardy
fonte

Risposte:

Direi che "modello di regressione" è una sorta di meta-concetto, nel senso che non troverai una definizione di "modello di regressione", ma concetti più concreti come "regressione lineare", "regressione non lineare", "regressione robusta" e così via. Questo allo stesso modo della matematica di solito non definiamo "numero", ma "numero naturale", "numeri interi", "numero reale", "numero p-adico" e così via, e se qualcuno vorrà includere il quaternioni tra numeri così sia! non importa, ciò che conta è quali definizioni sono usate dal libro / giornale che stai leggendo in questo momento.

Le definizioni sono strumenti ed essenzialismo, che sta discutendo quale sia l' essenza di ..., cosa significhi davvero una parola , raramente vale la pena.

Quindi, cosa distingue un "modello di regressione" da altri tipi di modelli statistici? Principalmente, esiste una variabile di risposta , che si desidera modellare come influenzata da (o determinata da) un insieme di variabili predittive . Non siamo interessati a influenzare l'altra direzione e non siamo interessati alle relazioni tra le variabili predittive. Principalmente, prendiamo le variabili predittive come date e le trattiamo come costanti nel modello, non come variabili casuali.

La relazione sopra menzionata può essere lineare o non lineare, specificata in modo parametrico o non parametrico e così via.

Per delineare da altri modelli, è meglio dare un'occhiata ad altre parole spesso prese per indicare qualcosa di diverso per "modelli di regressione", come "errori nelle variabili", quando accettiamo la possibilità di errori di misurazione nelle variabili predittive. Questo potrebbe benissimo essere incluso nella mia descrizione del "modello di regressione" sopra, ma è spesso considerato un modello alternativo.

Inoltre, cosa si intende può variare tra i campi, vedi Qual è la differenza tra condizionamento sui regressori e trattamento come fisso?

Per ripetere: ciò che conta è la definizione utilizzata dagli autori che stai leggendo ora, e non qualche metafisica di ciò che "è veramente".

— kjetil b halvorsen
fonte

Sono d'accordo con l'essenza della tua risposta. La mia domanda è stata motivata dall'aver incontrato dichiarazioni sui modelli di regressione che mi hanno lasciato a chiedermi a cosa si applichi realmente la dichiarazione (e a cosa non si applica). Certo, ora potresti dire "usa il tuo miglior giudizio e controlla attentamente i dettagli", ma a volte potrei voler rifiutare subito l'ipotesi affermata dicendo che non è vero in generale (forse vero solo in un caso molto specifico) . Quindi ho bisogno di una definizione a cui fare riferimento. Esistono ovviamente altre situazioni simili in cui è utile avere una definizione precisa.

— Richard Hardy,

Quindi devi fare domande specifiche sugli usi che hai incontrato, con riferimenti.

— kjetil b halvorsen,

Non intendo essere pignolo, ma pensaci: qualcuno ti chiede cosa stai facendo, dici "Sto analizzando / pronostico / collaudo [qualcosa] usando modelli di regressione". - "Che cos'è un modello di regressione?" -- (Silenzio). O una situazione in un corso introduttivo di econometria: "Professore, che cosa è ? Un modello di regressione" -- (Nessuna risposta). Penso che queste siano domande molto naturali, quindi sarebbe bello avere una risposta.

— Richard Hardy,

Sì, sarebbe bello avere una risposta, ma non sono sicuro che ci sia una risposta canonica su cui tutti possano essere d'accordo. Ho avuto un'idea molto diversa della regressione da un libro statistico come Seber: "Analisi della regressione lineare" come da un testo in econometria. Ma alcune idee possono essere tutte d'accordo. Immagino sia davvero una famiglia di modelli. Quindi possiamo chiederci qual è il nucleo comune di tutti questi modelli.

— kjetil b halvorsen,

Forse sarai interessato a una mia domanda correlata: definizione di un modello di regressione lineare semplice .

— Richard Hardy,

Sono già state fornite due belle risposte, ma vorrei aggiungere i miei due centesimi.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— Tim
fonte

Grazie. L'intuizione non fa male, anche se sto cercando una definizione più formale che potrei rivolgere a qualcuno che mi ha chiesto, quindi cos'è un modello di regressione? e poi ho provato a raccogliere i dettagli.

— Richard Hardy,

@RichardHardy Penso che questa sia la caratteristica chiave dei modelli di regressione condivisa da tutti.

— Tim

y

$y$

Alcuni pensieri basati sulla letteratura:

F. Hayashi nel capitolo 1 del suo libro di testo di laurea classica "Econometrics" (2000) afferma che i seguenti presupposti comprendono il modello di regressione lineare classica:

Linearità
Esogeneità rigorosa
Nessuna multicollinearità
Varianza sferica dell'errore
Regressori "fissi"

Wooldridge nel capitolo 2 del suo classico manuale di econometria introduttiva "Introductory Econometrics: A Modern Approach" (2012) afferma che la seguente equazione definisce il semplice modello di regressione lineare:

y = β_{0} + β_{1} X + u .

$y=\beta_0+\beta_1 x+u.$

Greene nel capitolo 2 del suo popolare libro di econometria "Analisi econometrica" (2011) afferma

Il modello di regressione lineare classico consiste in una serie di ipotesi su come un set di dati verrà prodotto da un "processo di generazione dei dati" sottostante.

e successivamente fornisce un elenco di ipotesi simili a quello di Hayashi.

Per quanto riguarda l'interesse del PO nel modello GARCH, Bollerslev "Eterosasticità condizionale autoregressiva generalizzata" (1986) include una frase "il modello di regressione GARCH" nel titolo della sezione 5 e anche nella prima frase di quella sezione. Quindi al padre del modello GARCH non dispiaceva chiamare GARCH un modello di regressione.

— Richard Hardy
fonte

I tuoi tre riferimenti sono tutti limitati al modello di regressione lineare , ma la tua domanda è più ampia di così. (Quindi, usare questo come argomento nella tua risposta a un altro post, che presumo abbia generato l'interesse per questo problema, penso che non sia completamente valido.) Se diresti che i modelli di variabili latenti non sono modelli di regressione, allora usa l'immediato connessione con errori di misura, i modelli di regressione con errori di misura non sarebbero più modelli di regressione. Mi sembra strano. Wiki dice solo che un modello reg mette in relazione gli indipendenti con dep, nel senso che

Y \approx f (X, β)

$Y\approx f(X, \beta)$ .

— hejseb,

È vero, i miei esempi sono per i modelli di regressione lineare ; questo è quello che sono riuscito a trovare in fonti affidabili come questi libri di testo che sono ampiamente usati e sono diventati classici. Non mi fido tanto di Wikipedia per domande statistiche ed econometriche. Comunque, anche in Wikipedia c'è un capitolo "Presupposti alla base" che è simile a quello che ho citato dai libri di testo. Per quanto riguarda l'altro post, potresti pubblicare lì la parte pertinente del tuo commento in modo che io possa rispondere lì? In questo post non ho detto nulla sui modelli variabili latenti, ma è bello sentirti opinione.

— Richard Hardy,

Perché il punto 3, "nessuna multicollinearità"? Non l'ho mai visto usato come un presupposto nella prova di alcuni risultati!

— kjetil b halvorsen,

@kjetilbhalvorsen, per favore non ritenermi responsabile di ciò che è scritto in un libro di testo di cui non sono autore. Ma grazie per il commento, ovviamente, e ancora di più per la risposta!

— Richard Hardy,