Quali sono i valori corretti per precisione e richiamo nei casi limite?

La precisione è definita come:

p = true positives / (true positives + false positives)

È corretto che, come true positivese false positivesavvicinarsi a 0, la precisione si avvicina a 1?

Stessa domanda da ricordare:

r = true positives / (true positives + false negatives)

Attualmente sto implementando un test statistico in cui ho bisogno di calcolare questi valori, e talvolta capita che il denominatore sia 0, e mi chiedo quale valore restituire per questo caso.

PS: Scusate il tag inadeguato, ho voluto usare recall, precisione limit, ma non riesco a creare ancora nuovi tag.

Data una matrice di confusione:

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

lo sappiamo:

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

Consideriamo i casi in cui il denominatore è zero:

• TP + FN = 0: significa che non c'erano casi positivi nei dati di input
• TP + FP = 0: significa che tutte le istanze sono state previste come negative

La risposta è sì I casi limite non definiti si verificano quando i veri positivi (TP) sono 0 poiché questo è nel denominatore di entrambi P & R. In questo caso,

• Richiama = 1 quando FN = 0, poiché è stato scoperto il 100% del TP
• Precisione = 1 quando FP = 0, dal momento che non c'erano risultati spuri

Questa è una riformulazione del commento di @ mbq.

Conosco una terminologia diversa. Ciò che chiami precisione vorrei un valore predittivo positivo (PPV). E ciò che chiami richiamo chiamerei sensibilità (Sens). :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

Nel caso della sensibilità (richiamo), se il denominatore è zero (come sottolinea Amro), NON ci sono casi positivi, quindi la classificazione non ha senso. (Ciò non impedisce a TP o FN di essere zero, il che comporterebbe una sensibilità limite di 1 o 0. Questi punti si trovano rispettivamente negli angoli in alto a destra e in basso a sinistra della curva ROC - TPR = 1 e TPR = 0. )

Il limite di PPV è tuttavia significativo. È possibile che il cut-off del test sia impostato su un valore così alto (o basso) in modo che tutti i casi siano considerati negativi. Questo è all'origine della curva ROC. Il valore limite del PPV appena prima che il taglio raggiunga l'origine può essere stimato considerando il segmento finale della curva ROC appena prima dell'origine. (Potrebbe essere meglio modellare poiché le curve ROC sono notoriamente rumorose.)

Ad esempio, se ci sono 100 positivi effettivi e 100 negativi effettivi e il segno finale della curva ROC si avvicina da TPR = 0,08, FPR = 0,02, allora il PPV limitante sarebbe PPR ~ 0,08 * 100 / (0,08 * 100 + 0,02 * 100 ) = 8/10 = 0,8 ovvero probabilità dell'80% di essere un vero positivo.

In pratica ogni campione è rappresentato da un segmento sulla curva ROC - orizzontale per un negativo reale e verticale per un positivo reale. Si potrebbe stimare il PPV limitante dall'ultimo segmento prima dell'origine, ma ciò darebbe un PPV limitante stimato di 1, 0 o 0,5, a seconda che l'ultimo campione sia stato un vero positivo, un falso positivo (negativo effettivo) o fatto di un TP e FP uguali. Un approccio modellistico sarebbe migliore, forse supponendo che i dati siano binormali - un presupposto comune, ad esempio: http://mdm.sagepub.com/content/8/3/197.short

Dipenderebbe da cosa intendi per "approccio 0". Se i falsi positivi e i falsi negativi si avvicinano entrambi a una velocità maggiore rispetto ai veri positivi, allora sì a entrambe le domande. Ma per il resto, non necessariamente.