Quando utilizzare un GAM vs GLM


14

Mi rendo conto che questa potrebbe essere una domanda potenzialmente ampia, ma mi chiedevo se ci sono ipotesi generalizzabili che indicano l'uso di un GAM (modello di additivo generalizzato) su un GLM (modello lineare generalizzato)?

Qualcuno recentemente mi ha detto che i GAM dovrebbero essere usati solo quando presumo che la struttura dei dati sia "additiva", cioè mi aspetto che le aggiunte di x prevedano y. Un'altra persona ha sottolineato che un GAM esegue un tipo diverso di analisi di regressione rispetto a un GLM e che un GLM è preferito quando si può assumere la linearità.

In passato ho utilizzato un GAM per dati ecologici, ad esempio:

  • multiproprietà continua
  • quando i dati non avevano una forma lineare
  • Avevo più x per prevedere la mia y che pensavo di avere qualche interazione non lineare che potevo visualizzare usando "grafici di superficie" insieme a un test statistico

Ovviamente non ho una grande comprensione di ciò che un GAM fa diversamente da un GLM. Credo che sia un test statistico valido (e vedo un aumento dei GAM sull'uso, almeno nelle riviste ecologiche), ma ho bisogno di sapere meglio quando è indicato su altre analisi di regressione.


I GAM vengono utilizzati quando il predittore lineare dipende linearmente da funzioni uniformi sconosciute di alcune variabili predittive.
user2974951

1
La distinzione è sfocata in quanto è possibile rappresentare covariabili numeriche, ad esempio tramite una spline anche in un GLM.
Michael M,

3
Mentre la distinzione è sfocata, i gam possono rappresentare anche le interazioni allo stesso modo in cui non è necessaria un'additività così rigorosa di glm, la grande differenza sta nell'inferenza: i gam hanno bisogno di metodi speciali, poiché la stima non viene effettuata tramite la proiezione, ma tramite il livellamento. Ciò che ciò implica in pratica, non capisco.
kjetil b halvorsen,

GLM GAM.
usεr11852 dice Reinstate Monic il

Risposte:


14

La differenza principale è che mentre le forme "classiche" di lineari o lineari generalizzati assumono una forma lineare fissa o qualche altra forma parametrica della relazione tra la variabile dipendente e le covariate, la GAM non assume a priori alcuna forma specifica di questa relazione e può essere utilizzato per rivelare e stimare gli effetti non lineari della covariata sulla variabile dipendente. Più in dettaglio, mentre nei modelli lineari (generalizzati) il predittore lineare è una somma ponderata delle n covariate, Σio=1nβioXio , nei GAM questo termine è sostituito da una somma della funzione liscia, ad es.Σio=1nΣj=1qβioSj(Xio) , doveS1(),...,Sq() sono funzioni base regolari (ad esempio spline cubiche) eqè la dimensione base. Combinando le funzioni di base, i GAM possono rappresentare un gran numero di relazioni funzionali (per fare ciò si basano sul presupposto che la vera relazione sia probabilmente liscia, piuttosto che instabile). Sono essenzialmente un'estensione dei GLM, tuttavia sono progettati in un modo che li rende particolarmente utili per scoprire effetti non lineari di covariate numeriche e per farlo in modo "automatico" (dall'articolo originale di Hastie e Tibshirani, hanno "il vantaggio di essere completamente automatico, cioè non è necessario alcun lavoro "investigativo" da parte dello statistico " ).


2
Bene, ma come detto nei commenti, tutto ciò può essere fatto anche con Glm's ... sospetto che la differenza principale sia pragmatica. L'implementazione di R mgcvfa molte cose con le quali non puoi fare glm, ma avrebbe potuto essere fatto anche in quel framework ...
kjetil b halvorsen

Sì, sono d'accordo con te, i GAM sono un'estensione dei GLM. Comunque la domanda era su quando usare GAM e quando usare GLM, e mi sembrava che l'operazione significasse forme "classiche" di GLM, che di solito non includono un insieme di funzioni base come predittori e non sono usate per rivelare / relazione non lineare approssimativa sconosciuta.
matteo,

grazie - questo è utile. e sì, stavo parlando dei classici GLM
mluerig

@ matteo solo altre due cose: i) cosa intendi esattamente con "la vera relazione sarà probabilmente liscia, piuttosto che instabile"? e ii) "particolarmente utile per scoprire effetti non lineari di covariate numeriche" - come si potrebbe descrivere / quantificare la non linearità (ad es. con mgcv)?
mluerig,

La vera relazione potrebbe non essere effettivamente liscia, tuttavia i GAM in genere controllano la complessità del modello aggiungendo una penalità di "oscillazione" durante il processo di massimizzazione della probabilità (di solito implementato come una proporzione del quadrato integrato del secondo derivato della funzione stimata). Gli effetti non lineari delle covariate numeriche indicano che l'influenza di una particolare variabile numerica sulla variabile dipendente potrebbe, ad esempio, non aumentare / diminuire monotonicamente con il valore della variabile, ma avere una forma sconosciuta, ad esempio con massimi locali, minimi, punti di flesso. ..
matteo,

12

Sottolineerei che i GAM sono molto più flessibili dei GLM e quindi hanno bisogno di più cura nel loro uso. Con un maggiore potere derivano maggiori responsabilità.

Lei menziona il loro uso nell'ecologia, che ho notato anche. Ero in Costa Rica e ho visto una specie di studio in una foresta pluviale in cui alcuni studenti laureati avevano gettato alcuni dati in un GAM e accettato i suoi pazzeschi complessi perché il software lo diceva. Era piuttosto deprimente, tranne per il fatto umoristico / ammirevole che includevano rigorosamente una nota a piè di pagina che documentava il fatto che avevano usato un GAM e gli smoother di alto livello che ne risultavano.

Non devi capire esattamente come funzionano i GAM per usarli, ma devi davvero pensare ai tuoi dati, al problema in questione, alla selezione automatica dei parametri del tuo software come ordini più fluidi, alle tue scelte (quali smoother hai specificato, interazioni, se è più agevole, ecc.) e la plausibilità dei risultati.

Fai un sacco di grafici e guarda le tue curve leviganti. Impazziscono in aree con pochi dati? Cosa succede quando si specifica una levigatura di ordine inferiore o si rimuove completamente il livellamento? Un grado 7 è più fluido per quella variabile, è troppo adatto nonostante le garanzie che convalidi le sue scelte? Hai abbastanza dati? È di alta qualità o rumoroso?

Mi piacciono i GAMS e penso che siano poco apprezzati per l'esplorazione dei dati. Sono semplicemente super-flessibili e se ti permetti di fare scienza senza rigore, ti porteranno più lontano nel deserto statistico di modelli più semplici come i GLM.


Immagino che il più delle volte faccio quello che hanno fatto quegli studenti: buttare i miei dati in un gam ed essere stupito da come mgcvgestiscono bene i miei dati. Cerco di essere parsimonioso con i miei parametri e controllo quanto i valori previsti corrispondono ai miei dati. i tuoi commenti sono un buon promemoria per essere un po 'più rigorosi e forse finalmente ottenere il libro di Simon Woods!
mluerig,

Cavolo, andrò al punto di usare una levigatezza per esplorare una variabile, e poi fissare i gradi di libertà a un valore basso o eliminare la levigatezza e usare, diciamo, un termine quadrato se la levigatezza era sostanzialmente quadratica. Una quadratica ha senso per un effetto dell'età, per esempio.
Wayne,

@Wayne, sono venuto qui esattamente per una risposta sull'esplorazione dei dati in relazione ai GAM, e ti ho visto sottolineato. Come si utilizzano i GAM per l'esplorazione dei dati? E come decideresti se è necessario un GAM o se un GLM sarebbe sufficiente. Avrebbe senso semplicemente eseguire un semplice GAM in cui si esegue la risposta e ciascuno dei potenziali predittori a sua volta, lo complotta e si vede se la relazione giustifica un GAM (cioè una relazione non lineare e non monotonica)?
Fino al

6

Non ho la reputazione di aggiungere semplicemente un commento. Sono totalmente d'accordo con il commento di Wayne: con un maggiore potere derivano maggiori responsabilità . I GAM possono essere molto flessibili e spesso otteniamo / vediamo smoother complessi pazzi . Quindi, consiglio vivamente ai ricercatori di limitare i gradi di libertà (numero di nodi) delle funzioni regolari e di testare diverse strutture modello (interazioni / nessuna interazione ecc.).

Le GAM possono essere prese in considerazione tra approcci guidati da modelli (sebbene il confine sia sfocato, includerei GLM in quel gruppo) e approcci guidati dai dati (ad es. Reti neurali artificiali o foreste casuali che assumono effetti di variabili non lineari che interagiscono pienamente). Di conseguenza, non sono totalmente d'accordo con Hastie e Tibshirani perché i GAM hanno ancora bisogno di lavoro investigativo (spero che nessuno mi uccida per averlo detto).

Da un punto di vista ecologico, consiglierei di usare la truffa del pacchetto R per evitare questi smoother complessi pazzi variabili inaffidabili . È stato sviluppato da Natalya Pya e Simon Wood e consente di vincolare le curve morbide alle forme desiderate (ad es. Unimodale o monotonico), anche per interazioni bidirezionali. Penso che GLM diventi un'alternativa minore dopo aver limitato la forma delle funzioni regolari, ma questa è solo la mia opinione personale.

Pya, N., Wood, SN, 2015. Modelli additivi vincolati alla forma. Statistica. Comput. 25 (3), 543–559. 10.1007 / s11222-013-9448-7

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.