Residui per regressione logistica e distanza di Cook

1. Ci sono ipotesi particolari riguardo agli errori di regressione logistica come la costante variazione dei termini di errore e la normalità dei residui?

2. Inoltre, in genere quando hai punti che hanno una distanza di Cook maggiore di 4 / n, li rimuovi? Se li rimuovi, come puoi sapere se il modello con i punti rimossi è migliore?

Non so se posso darti una risposta completa, ma posso darti alcuni pensieri che potrebbero essere utili. Innanzitutto, tutti i modelli / test statistici hanno ipotesi. Tuttavia, la regressione logistica non presuppone che i residui siano normalmente distribuiti né che la varianza sia costante. Piuttosto, si presume che i dati siano distribuiti come binomiale, , cioè con un numero di prove di Bernoulli pari al numero di osservazioni in quell'esatto set di valori di covariata e con la probabilità associata a quell'insieme di valori di covariata. Ricorda che la varianza di un binomio è . Pertanto, se il$\mathcal{B}(n_{x_i},p_{x_i})$$np(1-p)$$n$Varia a diversi livelli della covariata, anche le varianze. Inoltre, se una qualsiasi delle covariate è affatto correlata alla variabile di risposta, allora le probabilità varieranno e quindi anche le varianze. Questi sono fatti importanti sulla regressione logistica.

In secondo luogo, i confronti tra modelli vengono generalmente eseguiti tra modelli con specifiche diverse (ad esempio, con diversi set di covariate inclusi), non su diversi sottoinsiemi di dati. Ad essere sincero, non sono sicuro di come sarebbe stato fatto correttamente. Con un modello lineare, si poteva guardare i 2 s per vedere quanto meglio l'adattamento è con i dati aberranti esclusi, ma questo sarebbe solo essere descrittivo, e si dovrebbe sapere che sarebbe avere a salire. Con la regressione logistica , tuttavia, non è possibile utilizzare lo standard . Esistono vari 'pseudo-$R^2$$R^2$$R^2$$R^2$sono stati sviluppati per fornire informazioni simili, ma sono spesso considerati imperfetti e non vengono spesso utilizzati. Per una panoramica dei diversi pseudo- s esistenti, vedere qui . Per alcune discussioni e critiche, vedi qui . Un'altra possibilità potrebbe essere quella di afferrare i beta con e senza gli outlier inclusi per vedere come l'esclusione di essi contribuisce a stabilizzare le loro distribuzioni di campionamento. Ancora una volta, questo sarebbe solo descrittivo (cioè, non costituirebbe un test per dirti quale modello - er, sottoinsieme dei tuoi dati - preferire) e la varianza dovrebbe scendere. Queste cose sono vere, per entrambi pseudo-$R^2$$R^2$se le distribuzioni jackknifed, perché hai selezionato quei dati da escludere in base al fatto che appaiono estremi.

1) Esistono ipotesi particolari relative agli errori di regressione logistica come la costante variazione dei termini di errore e la normalità dei residui?

I modelli di regressione logistica non hanno "errori" in senso tradizionale. È contro-intuitivo e metodologicamente incoerente. I risultati del modello sono probabilità o rischi adeguati, mentre i risultati osservati sono indicatori di eventi 0/1. Metodologicamente, si tende a sottovalutare i domini con probabilità adattate molto alte o molto basse (contribuendo con quantità molto ridotte alla distanza residua) mentre l'algoritmo di adattamento del modello attribuisce un'importanza considerevolmente maggiore a tali regioni. La distanza quadrata è generalmente un modo mediocre di calibrare un modello di regressione logistica.

Un'alternativa al test di adattamento è il test di Hosmer-Lemeshow in cui vengono utilizzati i valori adattati per creare partizioni binnate basate su decile del rischio adattato. Puoi leggere questo test nell'analisi dei dati categorici di Alan Agresti o nel libro Regressione logistica di Hosmer e Lemeshow. Un altro processo consiste nell'utilizzare i Residui studentizzati in cui viene utilizzata la relazione di varianza media per ripesare i residui mediante la loro varianza inversa adattata . Per la regressione logistica questo è

2) In genere anche quando hai punti che hanno una distanza di Cook maggiore di 4 / n, li rimuovi? Se li rimuovi, come puoi sapere se il modello con i punti rimossi è migliore?

Non rimuovo mai i punti in base alle analisi di sensibilità. Se faccio un campione casuale di 100 persone e il loro reddito e 1 persona sembra essere un miliardario, allora la mia ipotesi più sicura è che 1 miliardario rappresenti 1/100 della popolazione.

Concordo con il commento di AdamO sopra in generale, supponendo che 1 miliardario rappresenti 1/100 della popolazione sia del tutto soddisfacente. Tuttavia, se la presenza del miliardario distorce i dati al punto da compromettere la previsione per le altre 99 persone, rimuoverei il miliardario. Preferirei sbagliarmi con la previsione di un valore anomalo rispetto a tutti gli altri.

Detto questo, se si rimuovono i punti dati utilizzando i valori D di Cook (ovvero qualsiasi cosa> 4 / df), è possibile utilizzare l'area sotto le curve ROC per entrambi i modelli per verificare il miglioramento.