Come derivare l'interpretazione probabilistica dell'AUC?

14

Perché l'area sotto la curva ROC ha la probabilità che un classificatore classifichi un'istanza "positiva" scelta casualmente (dalle previsioni recuperate) più alta di un'istanza "positiva" scelta casualmente (dalla classe positiva originale)? Come si può dimostrare matematicamente questa affermazione usando l'integrale, dando ai CDF e ai PDF le vere distribuzioni di classe positive e negative?

probability roc auc

— mff
fonte

2

Ho scritto una prova molto elementare di questo qui: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury

10

Per prima cosa, proviamo a definire formalmente l'area sotto la curva ROC. Alcune ipotesi e definizioni:

Abbiamo un classificatore probabilistico che genera un "punteggio" s (x), dove x sono le caratteristiche, e s è una funzione monotonica crescente generica della probabilità stimata p (class = 1 | x).
$f_{k}(s)$ , con : = pdf dei punteggi per la classe k, con CDF $k = \{0, 1\}$ $F_{k}(s)$
Si ottiene la classificazione di una nuova osservazione acquistando il punteggio s ad una soglia t

Inoltre, per comodità matematica, consideriamo la classe positiva (evento rilevato) k = 0 e negativa k = 1. In questa impostazione possiamo definire:

Richiama (aka Sensibilità, aka TPR) : (percentuale di casi positivi classificati come positivi) $F_{0}(t)$
Specificità (aka TNR) : (percentuale di casi negativi classificati come negativi) $1 - F_{1}(t)$
FPR (aka Fall-out) : 1 - TNR = $F_{1}(t)$

La curva ROC è quindi un diagramma di contro . Impostando , possiamo definire formalmente l'area sotto la curva ROC come: Modifica variabile ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Questa formula può facilmente essere vista come la probabilità che un membro disegnato in modo casuale della classe 0 produca un punteggio inferiore al punteggio di un membro disegnato in modo casuale della classe 1.

Questa prova è tratta da: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
fonte

5

La risposta di @ alebu è ottima. Ma la sua notazione non è standard e usa 0 per la classe positiva e 1 per la classe negativa. Di seguito sono riportati i risultati per la notazione standard (0 per la classe negativa e 1 per la classe positiva):

Pdf e cdf del punteggio per la classe negativa: e $f_0(s)$ $F_0(s)$

Pdf e cdf del punteggio per la classe positiva: e $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

dove sta per soglia. Si può applicare l'interpretazione nella risposta di @alebu all'ultima espressione. $\tau$

— Lei Huang
fonte

1

Il modo per calcolare AUC-ROC è tracciare il TPR e FPR come soglia, viene modificato e calcolare l'area sotto quella curva. Ma perché quest'area sotto la curva è uguale a questa probabilità? Supponiamo che: $\tau$

$A$ è la distribuzione dei punteggi prodotti dal modello per i punti dati che sono effettivamente nella classe positiva.
$B$ è la distribuzione dei punteggi prodotti dal modello per i punti dati che sono effettivamente nella classe negativa (vogliamo che questo sia alla sinistra di ). $A$
$\tau$ è la soglia di soglia. Se un punto dati ottiene un punteggio maggiore di questo, si prevede che appartenga alla classe positiva. Altrimenti, si prevede che sia nella classe negativa.

Si noti che il TPR (richiamo) è dato da: e il FPR (fallout) è dato da: . $P(A>\tau)$ $P(B>\tau)$

Ora, tracciamo il TPR sull'asse y e FPR sull'asse x, disegniamo la curva per vari e calcoliamo l'area sotto questa curva ( ). $\tau$ $AUC$

Noi abbiamo:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ dove è l'FPR. Ora, un modo per calcolare questo integrale è considerare come appartenente a una distribuzione uniforme. In tal caso, diventa semplicemente l'aspettativa del .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ se consideriamo .

x \sim U [0, 1)

$x \sim U[0,1)$

Ora, qui era solo l' $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Poiché abbiamo considerato come da una distribuzione uniforme,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Ma sappiamo dalla antitrasformata legge che per ogni variabile casuale , se allora . Questo segue dal momento che prendere qualsiasi variabile casuale e applicare il proprio CDF ad essa porta all'uniforme. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ e questo vale solo per l'uniforme.

L'uso di questo fatto nell'equazione (2) ci dà:

τ (x) \sim B

$\tau(x) \sim B$

Sostituendo questo nell'equazione (1) otteniamo:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

In altre parole, l'area sotto la curva è la probabilità che un campione positivo casuale abbia un punteggio più alto rispetto a un campione negativo casuale.

— ryu576
fonte