Come rilevare quando un modello di regressione è troppo in forma?

Quando sei tu a fare il lavoro, essendo consapevole di ciò che stai facendo, sviluppi la sensazione di quando hai adattato troppo il modello. Per prima cosa, è possibile tenere traccia dell'andamento o del deterioramento nel rettangolo R rettificato del modello. È inoltre possibile tenere traccia di un deterioramento simile nei valori p dei coefficienti di regressione delle variabili principali.

Ma quando leggi semplicemente qualcun altro studia e non hai idea del proprio processo di sviluppo del modello interno, come puoi rilevare chiaramente se un modello è troppo adatto o no.

regression multivariate-analysis overfitting

— sympa
fonte

Solo per lanciare un paio di idee sull'argomento, se lo studio rivela statistiche di regressione standard, potresti concentrarti sulle statistiche t e sui valori p dei coefficienti. Se la RSquare del modello è alta; ma una o più variabili hanno a stat <2.0; questa potrebbe essere una bandiera rossa. Inoltre, se il segno dei coefficienti su alcune delle variabili sfidano la logica, è probabilmente un'altra bandiera rossa. Se lo studio non rivela un periodo di attesa per il modello, potrebbe essere un'altra bandiera rossa. Spero che tu abbia altre idee migliori.

— Sympa,

Un modo è vedere come si comporta il modello su altri (ma simili) dati.

— Shane,

Risposte:

La validazione incrociata e la regolarizzazione sono tecniche abbastanza comuni per prevenire un eccesso di adattamento. Per una breve panoramica, consiglierei le diapositive tutorial di Andrew Moore sull'uso della validazione incrociata ( mirror ) - presta particolare attenzione alle avvertenze. Per maggiori dettagli, leggi sicuramente i capitoli 3 e 7 di EOSL , che trattano in modo approfondito l'argomento e la materia associata.

— ars
fonte

Wow, grazie il tutorial di Andrew Moore sulla validazione incrociata è di classe mondiale.

— Sympa,

Quando sto adattando un modello da solo, generalmente utilizzo i criteri di informazione durante il processo di adattamento, come AIC o BIC , o in alternativa i test del rapporto di verosimiglianza per i modelli adattati in base alla massima probabilità o il test F per i modelli adattati in base ai minimi quadrati.

Tutti sono concettualmente simili in quanto penalizzano parametri aggiuntivi. Stabiliscono una soglia di "potere esplicativo aggiuntivo" per ogni nuovo parametro aggiunto a un modello. Sono tutti una forma di regolarizzazione .

Per i modelli di altri guardo la sezione dei metodi per vedere se vengono utilizzate tali tecniche e anche usare le regole empiriche, come il numero di osservazioni per parametro - se ci sono circa 5 (o meno) osservazioni per parametro, comincio a chiedermi.

Ricorda sempre che una variabile non deve necessariamente essere "significativa" in un modello per essere importante. Potrei essere un confuso e dovrei essere incluso su quella base se il tuo obiettivo è stimare l'effetto di altre variabili.

— Thylacoleo
fonte

Grazie per i collegamenti ai test AIC e BIC. Aggiungono molto valore rispetto al rettangolo R rettificato che fa una cosa simile penalizzando i modelli per l'aggiunta di variabili?

— Sympa,

@Gaeten, il rettangolo R rettificato aumenterà quando un test F del modello prima vs dopo è significativo, quindi sono equivalenti, tranne per il fatto che il calcolo di un rettangolo R rettificato non restituisce un valore p.

— Thylacoleo,

@Gaeten - AIC e BIC sono più generici dei test F e del quadrato R rettificato che di solito sono limitati ai modelli adatti ai minimi quadrati. AIC e BIC possono essere utilizzati per qualsiasi modello in cui è possibile calcolare la probabilità e conoscere (o stimare) i gradi di libertà.

— Thylacoleo,

Testare un insieme di variabili non è una forma di regolarizzazione (restringimento). E i test danno la tentazione di rimuovere le variabili, il che non ha nulla a che fare con la riduzione del sovradimensionamento.

— Frank Harrell,

@FrankHarrell Puoi approfondire questo tuo vecchio commento? Mi sembra che la rimozione di una variabile ridurrebbe l'eccessivo adattamento, a parità di altre condizioni, poiché i gradi di libertà disponibili per l'overfit si riducono. Sono sicuro che mi manca qualche sfumatura qui.

— Lepidopterist,

Vorrei suggerire che questo è un problema con il modo in cui i risultati sono riportati. Non "battere il tamburo bayesiano" ma avvicinarsi all'incertezza del modello da una prospettiva bayesiana come un problema di inferenza sarebbe di grande aiuto qui. E non deve essere nemmeno un grande cambiamento. Se il rapporto contenesse semplicemente la probabilità che il modello sia vero, ciò sarebbe molto utile. Questa è una quantità facile da approssimare usando BIC. Chiama il BIC per il modello mth . Quindi la probabilità che il modello sia il modello "vero", dato che i modelli erano adatti (e che uno dei modelli è vero) è data da: $BIC_{m}$ $M$

P (model m is true | one of the M models is true) \approx \frac{w_{m} \exp (- \frac{1}{2} B I C_{m})}{\sum_{j = 1}^{M} w_{j} \exp (- \frac{1}{2} B I C_{j})}

$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$

= \frac{1}{1 + \sum_{j \neq m}^{M} \frac{w_{j}}{w_{m}} \exp (- \frac{1}{2} (B I C_{j} - B I C_{m}))}

$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$

$w_{j}$ $w_{j}=1$

$BIC_{final}<BIC_{j}$ $p$ $d$

M \geq 1 + p + (p - 1) + \dots + (p - d + 1) = 1 + \frac{p (p - 1) - (p - d) (p - d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$

M \geq 1 + p + (p - 1) + \dots + (d + 1) = 1 + \frac{p (p - 1) - d (d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$

$M$ $BIC_{j}$ $\lambda$ $BIC_{m}=BIC_{j}-\lambda$

\frac{1}{1 + (M - 1) \exp (- \frac{λ}{2})}

$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$

$\lambda$ $M$ $M$

\frac{1}{1 + \frac{p (p - 1) - d (d - 1)}{2} \exp (- \frac{λ}{2})}

$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$

$p=50$ $d=20$ $\lambda$ $P_{0}$

λ > - 2 l o g (\frac{2 (1 - P_{0})}{P_{0} [p (p - 1) - d (d - 1)]})

$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$

$P_{0}=0.9$ $\lambda > 18.28$

— probabilityislogic
fonte

+1, questo è davvero intelligente. È pubblicato da qualche parte? Esiste un riferimento "ufficiale" per questo?

— gung - Ripristina Monica

@gung - perché grazie. Sfortunatamente, questa era una risposta "retro della busta". Sono sicuro che ci sono problemi, se dovessi investigare più in dettaglio.

— probabilityislogic