Quali sono i criteri e il processo decisionale per la non linearità nei modelli statistici?


10

Spero che la seguente domanda generale abbia senso. Tieni presente che ai fini di questa particolare domanda non sono interessato a ragioni teoriche (dominio del soggetto) per l'introduzione della non linearità. Pertanto, formulerò la domanda completa come segue:

Che cos'è un quadro logico ( criteri e, se possibile, processo decisionale ) per introdurre la non linearità nei modelli statistici per ragioni diverse da quelle teoriche (argomento)? Come sempre, anche le risorse e i riferimenti pertinenti sono i benvenuti.

Risposte:


7

Il processo di costruzione del modello prevede che un modellista prenda molte decisioni. Una delle decisioni prevede la scelta tra diverse classi di modelli da esplorare. Esistono molte classi di modelli che potrebbero essere considerati; ad esempio, i modelli ARIMA, i modelli ARDL, i modelli Spazio-stato multiplo Sorgente di errore, i modelli LSTAR, i modelli Min-Max, per citarne solo alcuni. Naturalmente, alcune classi di modelli sono più ampie di altre e non è comune scoprire che alcune classi di modelli sono sottoclassi di altre.

Data la natura della domanda, possiamo concentrarci principalmente su solo due classi di modelli; modelli lineari e modelli non lineari .

Con in mente l'immagine sopra, inizierò ad affrontare la questione dei PO su quando è utile adottare un modello non lineare e se esiste un quadro logico per farlo - da una prospettiva statistica e metodologica.

La prima cosa da notare è che i modelli lineari sono una piccola sottoclasse di modelli non lineari. In altre parole, i modelli lineari sono casi speciali di modelli non lineari. Ci sono alcune eccezioni a tale affermazione, ma, ai fini attuali, non perderemo molto accettandolo per semplificare le cose.

In genere, un costruttore di modelli selezionerà una classe di modelli e procederà alla scelta di un modello all'interno di quella particolare classe utilizzando una metodologia. Un semplice esempio è quando si decide di modellare una serie temporale come un processo ARIMA e quindi segue la metodologia Box-Jenkins per selezionare un modello tra la classe dei modelli ARIMA. Lavorare in questo modo, con metodologie associate a famiglie di modelli, è una questione di necessità pratica.

Una conseguenza della decisione di costruire un modello non lineare è che il problema di selezione del modello diventa molto più grande (devono essere considerati più modelli e devono essere prese più decisioni) rispetto alla scelta tra l'insieme più piccolo di modelli lineari, quindi c'è un reale problema pratico a portata di mano. Inoltre, potrebbero non esserci nemmeno metodologie completamente sviluppate (conosciute, accettate, comprese, facili da comunicare) da utilizzare per selezionare alcune famiglie di modelli non lineari. Inoltre, un altro svantaggio della costruzione di modelli non lineari è che i modelli lineari sono più facili da usare e le loro proprietà probabilistiche sono meglio conosciute ( Teräsvirta, Tjøstheim e Granger (2010) ).

Detto questo, il PO richiede motivi statistici per guidare la decisione piuttosto che quelli teorici pratici o di dominio, quindi devo continuare.

Prima ancora di pensare a come affrontare la selezione dei modelli non lineari con cui lavorare, si deve decidere inizialmente se lavorare con modelli lineari o modelli non lineari. Una decisione! Come fare questa scelta?

Facendo appello a Granger e Terasvirta (1993) , adotto il seguente argomento, che ha due punti principali in risposta alle seguenti due domande.

D: Quando è utile costruire un modello non lineare? In breve, può essere utile costruire un modello non lineare quando la classe di modelli lineari è già stata considerata e ritenuta insufficiente per caratterizzare la relazione in esame. Si può dire che questa procedura di modellazione non lineare (processo decisionale) passi da semplice a generale, nel senso che va da lineare a non lineare.

D: Esistono motivi statistici che possono essere utilizzati per giustificare la costruzione di un modello non lineare? Se si decide di costruire un modello non lineare basato sui risultati dei test di linearità, direi di sì, ci sono. Se i test di linearità suggeriscono che non vi è alcuna non linearità significativa nella relazione, non sarebbe consigliabile costruire un modello non lineare; i test dovrebbero precedere la decisione di costruire.

Intenerirò questi punti facendo riferimento diretto a Granger e Terasvirta (1993):

Prima di costruire un modello non lineare è consigliabile scoprire se effettivamente un modello lineare caratterizzerebbe adeguatamente le relazioni [economiche] in analisi. Se così fosse, ci sarebbe più teoria statistica disponibile per la costruzione di un modello ragionevole che se un modello non lineare fosse appropriato. Inoltre, ottenere previsioni ottimali per più di un periodo in avanti sarebbe molto più semplice se il modello fosse lineare. Può accadere, almeno quando le serie temporali sono brevi, che l'investigatore stima con successo un modello non lineare sebbene la vera relazione tra le variabili sia lineare. Il pericolo di complicare inutilmente la costruzione del modello è quindi reale, ma può essere ridotto con i test di linearità.

Nel libro più recente, Teräsvirta, Tjøstheim e Granger (2010), viene dato lo stesso tipo di consiglio, che ora cito:

Dal punto di vista pratico è [quindi] utile testare la linearità prima di tentare la stima del modello non lineare più complicato. In molti casi, i test sono persino necessari da un punto di vista statistico. Numerosi modelli non lineari popolari non vengono identificati in base alla linearità. Se il modello vero che ha generato i dati è lineare e il modello non lineare è interessato a nidificare questo modello lineare, i parametri del modello non lineare non possono essere stimati in modo coerente. Pertanto, i test di linearità devono precedere qualsiasi modellazione e stima non lineari.

Vorrei concludere con un esempio.

Nel contesto della modellizzazione dei cicli economici, un esempio pratico dell'uso di motivi statistici per giustificare la costruzione di un modello non lineare può essere il seguente. Poiché i modelli univariati lineari o autoregressivi vettoriali non sono in grado di generare serie temporali cicliche asimmetriche, vale la pena prendere in considerazione un approccio di modellazione non lineare, in grado di gestire asimmetrie nei dati. Una versione estesa di questo esempio sulla reversibilità dei dati è disponibile in Tong (1993) .

Mi scuso se mi sono concentrato troppo sui modelli di serie storiche. Sono sicuro, tuttavia, che alcune idee sono applicabili anche in altre impostazioni.


2
Graeme, la tua risposta è eccellente e, mentre anche le altre risposte sono eccellenti, la tua è la più vicina a quello che stavo cercando (una mini-versione, se vuoi). +1 e accettato. Apprezzo molto il tuo impegno nel preparare la tua risposta. Sono sicuro che lo rivedrò più di una volta così come i riferimenti. Penso che il libro del Dr. Harrell sulle strategie di regressione contenga anche alcune parti di un quadro che idealmente avrei. A proposito, la mia idea di un quadro statistico tematico è ispirata all'eccellente libro di Lisa Harlow "L'essenza del pensiero multivariato", che ho avuto il piacere di leggere.
Aleksandr Blekh,

12

Il problema generale è quello di decidere per quali tipi di problemi è prevista la linearità, altrimenti consentire alle relazioni di essere non lineari come le dimensioni del campione lo consentono. La maggior parte dei processi in biologia, scienze sociali e altri campi sono non lineari. Le uniche situazioni in cui mi aspetto relazioni lineari sono:

  1. Meccanica newtoniana
  2. La previsione di da misurata in un momento precedenteYYY

Quest'ultimo esempio include il caso in cui si ha una variabile dipendente che viene misurata anche al basale (tempo zero).Y

Raramente vedo una relazione ovunque lineare in un set di dati di grandi dimensioni.

La decisione di includere le non linearità nei modelli di regressione non deriva tanto da un principio statistico globale ma piuttosto dal modo in cui funziona il mondo. Un'eccezione è quando è stato scelto un quadro statistico non ottimale e devono essere introdotte non linearità o termini di interazione solo per compensare la scelta sbagliata del quadro. Talvolta possono essere necessari termini di interazione per compensare gli effetti principali della sotto-modellazione (ad esempio, ipotizzando la linearità). Potrebbero essere necessari ulteriori effetti principali per compensare la perdita di informazioni derivante dalla modellizzazione insufficiente degli altri effetti principali.

I ricercatori a volte si scusano per includere una determinata variabile mentre si adattano a una miriade di altre variabili costringendole ad agire in modo lineare. Nella mia esperienza il presupposto di linearità è uno dei presupposti più violati che contano fortemente.


2
+1 Dr. Harrell, grazie per la tua preziosa risposta. Capisco i tuoi punti. Tuttavia, sono anche curioso delle situazioni (e quella era in realtà l'essenza della mia domanda), quando il ricercatore o lo scienziato dei dati devono introdurre componenti non lineari aggiuntivi a causa di teorie statistiche o vari problemi (inclusi statistica, dati, metodologia, ecc. .), non teorie di dominio soggetto. Gradirei le tue opinioni su questo.
Aleksandr Blekh,

5
La linearità dipende tanto (o più) dai dati che dal processo. La maggior parte dei processi nella maggior parte dei campi sono lineari quando esaminati su un intervallo abbastanza ristretto (ecco perché Calculus è così ampiamente utile) e non sono lineari su un intervallo sufficientemente ampio (compresi i processi meccanici). Sebbene sia corretto suggerire che quasi tutto può apparire non lineare quando è disponibile una dimensione del campione abbastanza grande, forse un modo più pragmatico di inquadrare il problema sarebbe in termini di come decidere quando è utile adottare un modello lineare.
whuber

2
@whuber: grazie per il tuo commento. Molto utile. Ora capisco meglio la (non) linearità da due punti di vista : teorico (dominio del soggetto) e incentrato sui dati . Sono ancora curioso di conoscere le prospettive statistiche e / o metodologiche dell'introduzione di ulteriori non linearità a causa di ipotesi statistiche , problemi (cioè post-EDA) o aspetti simili. Quindi, oltre alla tua proposta di inquadratura del problema, sono anche interessato al quadro decisionale per quando è utile adottare un modello non lineare .
Aleksandr Blekh,

1
"La maggior parte dei processi nella maggior parte dei campi sono lineari se esaminati su un intervallo abbastanza ristretto (ecco perché Calculus è così ampiamente utile) e non lineari su un intervallo sufficientemente ampio" mentre estremamente evidente da chiunque abbia seguito un corso sul calcolo, questo è un visione che apre gli occhi per me. Grazie Dr. @whuber +1.
Mugen,

3
@Aleksandr Blekh stai cercando, per esempio, un test statistico o un diagramma residuo che ti darà una ragione statistica (al contrario di una ragione proveniente dalla teoria sottostante) per giustificare l'uso di un modello non lineare?
Mugen,

4

Quando costruisco un modello, provo sempre i quadrati delle variabili insieme a componenti lineari. Ad esempio, quando si modello di regressione semplice un termine quadrato Se è significativo, può essere un caso per un modello non lineare. L'intuizione è, ovviamente, l'espansione di Taylor. Se si dispone di una funzione lineare, solo la prima derivata deve essere diversa da zero. Per le funzioni non lineari i derivati ​​di ordine superiore sarebbero diversi da zero.y i = α + β x i + γ x 2 i + ε i γ

yi=α+βxi+εi
yi=α+βxi+γxi2+εi
γ

Provo spesso anche un candidato con specifiche asimmetriche: Se è significativo, allora mi fa considerare esplorare specifiche asimmetriche.

yi=α+βmax(0,xi)+γmin(0,xi)+εi
γβ

A volte, ho alcuni valori o bande speciali nei miei dati; oppure i miei istogrammi di variabili esplicative presentano nodi e punti di flesso. Quindi, provo le spline lineari attorno a questi punti o regioni speciali. Le spline lineari più semplici sarebbero: Ciò introdurrebbe le diverse pendenze per prima e dopo il punto . Puoi avere diverse pendenze per la stessa variabile in diverse regioni. Se la mia spline lineare è significativa, allora gioco con i punti del nodo e la utilizzo, oppure penso a modelli non lineari.x a + = max ( x , a ) x x = a

xa=min(x,a)
xa+=max(x,a)
xx=a

Questo non è l'approccio sistematico, ma è solo una delle cose che faccio sempre.


1
+1 Approfondimenti interessanti. Grazie per averlo condiviso - è bello saperlo. Quello che mi piacerebbe avere (o persino preparare) è un quadro / flusso di lavoro coerente di approcci simili (grandi e piccoli) con ragionamenti di base sottostanti. Pensi che la creazione di tale quadro sarebbe 1) fattibile e 2) prezioso per altre persone?
Aleksandr Blekh,

1
@AleksandrBlekh, non credo sia possibile creare il framework universale. La più generale delle serie temporali è Box-Jenkins.
Aksakal,

4
I test statistici per la selezione dei modelli distorcono le stime e soprattutto gli errori standard.
Frank Harrell,

1
@ssdecontrol, l'argomento di espansione di Taylor mi fa anche paura di non usare termini di polinomi di ordine inferiore. Ad esempio, se una specifica del candidato è , allora devi avere una forte opinione sulla forma del tuo modello. yi=β2xi2+εi
Aksakal,

2
@ssdecontrol: vedi Venables (1998), "Exegeses on linear models", S-Plus Users 'Conference, Washington DC per maggiori informazioni sulla serie euristica di Taylor.
Scortchi - Ripristina Monica
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.