Esiste una statistica adatta al modello (come AIC o BIC) che può essere utilizzata per confronti assoluti anziché solo relativi?

Non ho molta familiarità con questa letteratura, quindi per favore perdonami se questa è una domanda ovvia.

Poiché AIC e BIC dipendono dal massimizzare la probabilità, sembra che possano essere utilizzati solo per effettuare confronti relativi tra un set di modelli che tentano di adattarsi a un determinato set di dati. Secondo la mia comprensione, non avrebbe senso calcolare l'AIC per il modello A sul set di dati 1, calcolare l'AIC per il modello B sul set di dati 2, quindi confrontare i due valori AIC e giudicarlo (ad esempio) Il modello A si adatta al set di dati 1 meglio del modello B si adatta al set di dati 2. O forse mi sbaglio e questa è una cosa ragionevole da fare. Per favore mi faccia sapere.

La mia domanda è questa: esiste una statistica adatta al modello che può essere utilizzata per confronti assoluti anziché solo relativi? Per i modelli lineari, qualcosa come funzionerebbe; ha una gamma definita e disciplina idee specifiche su ciò che è un "buon" valore. Sto cercando qualcosa di più generale e ho pensato che potrei iniziare facendo un ping agli esperti qui. Sono sicuro che qualcuno abbia pensato a questo genere di cose prima, ma non conosco bene i termini giusti per effettuare una ricerca produttiva su Google Scholar. $R^2$

Qualsiasi aiuto sarebbe apprezzato.

model-selection aic bic

— Nathan VanHoudnos
fonte

Se il modello A si adatta al set di dati 1 e il modello B si adatta al set di dati 2, non c'è assolutamente nulla da confrontare: i modelli e i dati sono totalmente diversi. Quindi, cosa stai esattamente cercando di realizzare? A proposito, è peggio che inutile in questo senso; per alcune critiche, consultare stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

Cosa intendi con qualcosa di "più generale" che potresti dare un esempio dei tipi di modelli che potresti voler espandere? Alcuni modelli saranno facili da adattare ad un approccio , ad esempio adattamenti lowess, ma altri saranno piuttosto difficili, ad esempio adattamenti di dati binomiali.

R^{2}

$R^2$

— russellpierce,

@whuber Wow, questa è una risposta fantastica alla domanda ! Ma, a parte le sue inadeguatezze, è usato per dire che il loro modello è "buono" in un senso "assoluto" (es. "Il mio è tale e tale che è meglio di quello che si vede normalmente ... "). Sto cercando una statistica più giustificata (e generale) di per raggiungere lo stesso scopo (ad esempio "My MagicStatistic è tale-e-tale che è meglio ...). Il mio primo pensiero ingenuo è stato quello di fare qualcosa di simile normalizzare un punteggio di validazione incrociata di k-fold, ma non sembra che nessuno abbia fatto una cosa del genere (quindi probabilmente non è una buona idea)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos,

@Nathan Non voglio sembrare come se stessi suonando un punto o ne sono ossessionato - non lo sono - ma mi viene in mente che le persone che usano per affermare che il loro modello è buono in assoluto il senso spesso potrebbe essere ... sbagliato. Una lezione di è che una statistica adatta al modello è interpretabile solo nel contesto del set di dati. Quando due set di dati potenzialmente non hanno nulla in comune, cosa significherebbe davvero confrontare due di tali statistiche? Quindi, per iniziare a rispondere alla tua domanda, dobbiamo fare delle ipotesi su come i due set di dati potrebbero essere correlati tra loro. Eventuali suggerimenti?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

L'unica cosa che potrei immaginare nel regno di ciò di cui stai parlando sarebbe la misura dell'accuratezza della previsione. La qualità di due modelli su due diversi set di dati potrebbe potenzialmente essere confrontata con la quale si predice meglio, anche se neanche questo è perfetto.

— Macro,

In linea con quanto suggerito da Macro, penso che il termine che stai cercando sia una misura delle prestazioni. Sebbene non sia un modo sicuro per valutare il potere predittivo, è un modo molto utile per confrontare la qualità di adattamento di vari modelli.

Un esempio potrebbe essere l'errore percentuale medio medio, ma è possibile trovarne facilmente altri.

Supponiamo che tu usi SetA con il modello A per descrivere il numero di buche in una strada e usi SetB e il modello B per descrivere il numero di persone in un paese, quindi ovviamente non puoi dire che un modello sia migliore dell'altro, ma puoi almeno vedere quale modello fornisce una descrizione più accurata.

— Dennis Jaheruddin
fonte

Ci sono alcuni nuovi documenti che esplorano esattamente quello che stai cercando, credo; Nakagawa e Schielzeth (2013) presentano una statistica R² per i modelli a effetti misti chiamati "R2 GLMM" per definire la quantità di varianza inspiegabile in un modello.

Il R²GLMM condizionale viene interpretato come varianza spiegata da fattori sia fissi che casuali;

R²GLMM marginale rappresenta la varianza spiegata da fattori fissi.

Nel 2014, Johnson ha aggiornato l'equazione per tenere conto dei modelli di pendenze casuali.

Fortunatamente, puoi facilmente calcolare R²GLMM sia marginale che condizionale usando il pacchetto "MuMIn" in R ( Barton, 2015 ).

— Nova
fonte