Una regressione logistica che massimizza la probabilità necessariamente anche massimizza l'AUC rispetto ai modelli lineari?

Dato un set di dati con risultati binari e una matrice predittiva , il modello di regressione logistica standard stima i coefficienti che massimizzano la probabilità binomiale. Quando X è al livello completo \ beta_ {MLE} è unico; quando la separazione perfetta non è presente, è finita.$y\in\{0,1\}^n$$X\in\mathbb{R}^{n\times p}$$\beta_{MLE}$$X$$\beta_{MLE}$

Questo modello di massima verosimiglianza massimizza anche l'AUC del ROC (alias $c$ statistico) o esiste una stima dei coefficienti $\beta_{AUC} \neq \beta_{MLE}$ che otterrà un AUC del ROC più elevato? Se è vero che il MLE non massimizza necessariamente l'AUC del ROC, un altro modo di esaminare questa domanda è "Esiste un'alternativa alla massimizzazione della probabilità che massimizzerà sempre l'AUC del ROC di una regressione logistica?"

Suppongo che i modelli siano gli stessi altrimenti: non stiamo aggiungendo o rimuovendo i predittori in $X$ , o altrimenti cambiando le specifiche del modello, e sto assumendo che i modelli che massimizzano la probabilità e massimizzano l'AUC stanno usando la stessa funzione di collegamento.

Non è il caso che .$\beta_{MLE} = \beta_{AUC}$

Per illustrare questo, considera che AUC può scrivere come

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

In altre parole, l'ordinamento delle previsioni è l'unica cosa che influenza l'AUC . Questo non è il caso della funzione di verosimiglianza. Quindi, come esercizio mentale, supponiamo di avere un singolo predittore e nel nostro set di dati, non vediamo una separazione perfetta (cioè, è finito). Ora, se prendessimo semplicemente il valore del predittore più grande e lo aumentassimo di una piccola quantità, cambieremo la probabilità di questa soluzione, ma non cambierà l'AUC, poiché l'ordinamento dovrebbe rimanere lo stesso. Pertanto, se il vecchio MLE ha massimizzato l'AUC, massimizzerà comunque l'AUC dopo aver modificato il predittore, ma non massimizzerà più la probabilità.$\beta_{MLE}$

Quindi, almeno, non è vero che non sia unico; qualsiasi che preserva l'ordinamento delle stime ottiene esattamente la stessa AUC. In generale, poiché l'AUC è sensibile ai diversi aspetti dei dati, ritengo che dovremmo essere in grado di trovare un caso in cui non massimizzi . In effetti, mi azzarderei a immaginare che ciò accada con alta probabilità.$\beta_{AUC}$$\beta$$\beta_{MLE}$$\beta_{AUC}$

EDIT (spostare il commento in risposta)

Il prossimo passo è dimostrare che il MLE non necessariamente massimizza l'AUC (che non è ancora stato dimostrato). Si può fare ciò prendendo qualcosa come i predittori 1, 2, 3, 4, 5, 6, (con ) con risultati 0, 0, 0, 1, 1, 1, 0. Qualsiasi valore positivo di massimizzerà l'AUC (indipendentemente dal valore di ), ma possiamo scegliere una abbastanza grande da .$x$$x > 6$$\beta$$x$$x$$\beta_{MLE} < 0$