Overfitting di un modello di regressione logistica

È possibile equipaggiare troppo un modello di regressione logistica? Ho visto un video in cui si diceva che se la mia area sotto la curva ROC è superiore al 95%, è molto probabile che venga adattata in modo eccessivo, ma è possibile utilizzare un modello di regressione logistica?

Sì, è possibile equipaggiare eccessivamente i modelli di regressione logistica. Ma prima, vorrei affrontare il punto sull'AUC (Area sotto la curva caratteristica operativa del ricevitore): non ci sono regole empiriche universali con l'AUC, mai e poi mai.

Che cos'è l'AUC è la probabilità che un positivo (o caso) campionato in modo casuale abbia un valore di marcatore più alto di un negativo (o controllo) perché l'AUC è matematicamente equivalente alla statistica U.

Ciò che l'AUC non è una misura standardizzata di precisione predittiva. Gli eventi altamente deterministici possono avere AUC a predittore singolo pari o superiori al 95% (come nella meccatronica controllata, robotica o ottica), alcuni modelli complessi di previsione del rischio logistico multivariabile hanno AUC del 64% o inferiori come la previsione del rischio di cancro al seno, e quelli sono livelli di accuratezza predittiva notevolmente elevati.

Un valore AUC ragionevole, come con un'analisi di potenza, è prespecificato raccogliendo la conoscenza del background e degli obiettivi di uno studio apriori . Il medico / ingegnere descrive ciò che vogliono e tu, lo statistico, risolvi un valore AUC target per il tuo modello predittivo. Quindi inizia l'indagine.

È infatti possibile sovrautilizzare un modello di regressione logistica. A parte la dipendenza lineare (se la matrice del modello è di rango carente), puoi anche avere una concordanza perfetta, ovvero che la trama dei valori adattati rispetto a Y discrimina perfettamente casi e controlli. In tal caso, i tuoi parametri non sono convergenti ma risiedono semplicemente da qualche parte nello spazio limite che dà una probabilità di . A volte, tuttavia, l'AUC è 1 solo per caso.$\infty$

$2\beta$$p \gg n \pi(1-\pi)$$\pi = \mbox{Prob}(Y=1)$$p$ previsione ad ) dei risultati binari viene eseguita meglio con i metodi di apprendimento automatico. Comprendere l'analisi discriminante lineare, i minimi quadrati parziali, la previsione del vicino più vicino, il potenziamento e le foreste casuali sarebbe un ottimo punto di partenza.

In parole semplici ... un modello di regressione logistica troppo adattato ha una grande varianza, significa cambiamenti di decisioni diverse in gran parte per piccoli cambiamenti di grandezza variabile. prendi in considerazione l'immagine seguente il modello logistico più adatto a quello che hai scelto, la sua decisione è molto ampia. di alti e bassi mentre quello centrale è in forma ha una varianza moderata e una propensione moderata. quello di sinistra è sottovalutato ha un'alta propensione ma molto meno varianza. ancora una cosa_ Un modello di regressione sovradimensionato ha troppe funzionalità mentre il modello underfit ne ha molto meno. di funzionalità.

Puoi esagerare con qualsiasi metodo, anche se si adatta a tutta la popolazione (se la popolazione è limitata). Esistono due soluzioni generali al problema: (1) stima della massima probabilità penalizzata (regressione della cresta, rete elastica, lazo, ecc.) E (2) l'uso di priori informativi con un modello bayesiano.

$Y$$Y$$Y$$Y$

Esiste un modello, a parte la regressione logistica, che non è possibile fare troppo?

Il sovradimensionamento nasce fondamentalmente perché ci si adatta a un campione e non all'intera popolazione. Gli artefatti del tuo campione possono sembrare caratteristiche della popolazione e non lo sono, e quindi fanno troppo male alle ferite.

È simile a una questione di validità esterna. Usando solo il campione, stai cercando di ottenere un modello che ti offra le migliori prestazioni sulla popolazione reale che non riesci a vedere.

Certo, alcune forme o procedure di modello hanno maggiori probabilità di sovralimentarsi rispetto ad altre, ma nessun modello è mai veramente immune da un eccesso di adattamento, vero?

Anche la convalida al di fuori del campione, le procedure di regolarizzazione ecc. Possono solo evitare un eccesso di adattamento, ma non esiste un proiettile d'argento. In effetti, se si dovesse stimare la propria fiducia nel fare una previsione del mondo reale basata su un modello adattato, si deve sempre presumere che si sia effettivamente verificato un certo grado di overfitting.

In che misura può variare, ma anche un modello convalidato su un set di dati di blocco raramente produrrà prestazioni in-wild che corrispondono a quanto ottenuto sul set di dati di blocco. E il sovradimensionamento è un grande fattore causale.

Quello che facciamo con Roc per verificare il sovradimensionamento è separare casualmente il set di dati in allenamento e valutazione e confrontare l'AUC tra questi gruppi. Se l'AUC è "molto" (non esiste anche una regola empirica) più grande nell'allenamento, potrebbe esserci un eccesso di adattamento.