Quando la precisione è più importante del richiamo?

Qualcuno può darmi alcuni esempi in cui la precisione è importante e alcuni esempi in cui il richiamo è importante?

• Per la modellizzazione dei dati sui tumori rari, tutto ciò che non tiene conto dei falsi negativi è un crimine. Il richiamo è una misura migliore della precisione.
• Per i consigli di YouTube, i falsi negativi sono meno preoccupanti. La precisione qui è migliore.

Posso darti il ​​mio vero caso quando il richiamo è più importante:

Abbiamo migliaia di clienti gratuiti che si registrano sul nostro sito ogni settimana. Il team del call center vuole chiamarli tutti, ma è impossibile, quindi mi chiedono di selezionare quelli con buone possibilità di essere un acquirente (con l'alta temperatura è il modo in cui ci riferiamo a loro). Non ci interessa chiamare un ragazzo che non comprerà (quindi la precisione non è importante) ma per noi è molto importante che tutti quelli ad alta temperatura siano sempre nella mia selezione, quindi non vanno senza comprare. Ciò significa che il mio modello deve avere un alto richiamo , non importa se la precisione va all'inferno.

Spero possa essere d'aiuto! Miguel.

Sebbene in alcune situazioni il richiamo possa essere più importante della precisione (o viceversa), è necessario entrambi per ottenere una valutazione più interpretabile.

Ad esempio, come notato da @SmallChess, nella comunità medica, un falso negativo è generalmente più disastroso di un falso positivo per le diagnosi preliminari. Pertanto, si potrebbe considerare il richiamo come una misura più importante. Tuttavia, potresti avere un richiamo al 100% ma avere un modello inutile: se il tuo modello produce sempre una previsione positiva, avrebbe un richiamo al 100% ma sarebbe completamente non informativo.

Ecco perché esaminiamo più metriche:

• curva di richiamo di precisione
• AUROC
• e talvolta metriche come il punteggio F.

Ciò che è più importante dipende semplicemente da quali sono i costi di ciascun errore.

La precisione tende a comportare costi diretti; più falsi positivi hai, più costi hai per vero positivo che hai. Se i tuoi costi sono bassi, la precisione non conta tanto. Ad esempio, se hai 1M di indirizzi e-mail e ti costerà $ 10 per inviare un'e-mail a tutti loro, probabilmente non vale la pena dedicare il tuo tempo a cercare di identificare le persone che hanno più probabilità di rispondere, piuttosto semplicemente spamming.

Il richiamo, dall'altro, tende a comportare costi di opportunità; stai cedendo opportunità ogni volta che hai un falso negativo. Quindi il richiamo è meno importante quando il valore marginale dell'identificazione corretta aggiuntiva è piccolo, ad esempio ci sono più opportunità, c'è poco diverso tra loro e solo un numero limitato può essere perseguito. Ad esempio, supponiamo di voler acquistare una mela. Ci sono 100 mele nel negozio e 10 di loro sono cattive. Se hai un metodo per distinguere le mele cattive che manca all'80% di quelle buone, allora identificherai circa 18 mele buone. Normalmente, un richiamo del 20% sarebbe terribile, ma se vuoi solo 5 mele, perdere quelle altre 72 mele non importa.

Quindi il richiamo è molto importante quando:

-Il numero di opportunità è piccolo (se ci fossero solo 10 mele buone, allora sarebbe improbabile trovarne 5 buone con un tasso di richiamo del solo 20%)
-Ci sono differenze significative tra le opportunità (se alcune mele sono migliori di altre , quindi un tasso di richiamo del 20% è sufficiente per ottenere 5 mele buone, ma non saranno necessariamente le mele migliori )
OPPURE
-Il vantaggio marginale delle opportunità rimane elevato, anche per un gran numero di opportunità. Ad esempio, mentre la maggior parte degli acquirenti non trarrà molto beneficio da più di 18 mele buone, il negozio vorrebbe avere più di 18 mele da vendere.

Pertanto, la precisione sarà più importante del richiamo quando il costo della recitazione è elevato, ma il costo della non recitazione è basso. Si noti che si tratta dei costi di recitazione / non recitazione per candidato, non di "costo per avere qualsiasi azione" contro "costo di non avere alcuna azione". Nell'esempio della mela, è il costo di acquisto / non acquisto di una mela particolare, non il costo di acquisto di alcune mele rispetto al costo di non acquisto di mele; il costo di non comprare una mela particolare è basso perché ci sono molte altre mele. Poiché il costo di acquisto di una mela cattiva è elevato, ma il costo di trasmissione di una mela particolarmente buona è basso, la precisione è più importante in questo esempio. Un altro esempio sarebbe assumere quando ci sono molti candidati simili.

Il richiamo è più importante della precisione quando il costo della recitazione è basso, ma il costo opportunità di rinunciare a un candidato è elevato. C'è l'esempio di spam che ho dato in precedenza (il costo di perdere un indirizzo e-mail non è elevato, ma il costo di inviare un'e-mail a qualcuno che non risponde è ancora inferiore), e un altro esempio sarebbe identificare i candidati per il vaccino antinfluenzale: somministrare il vaccino antinfluenzale a qualcuno che non ne ha bisogno e costa pochi dollari, non darlo a qualcuno che ne ha bisogno e potrebbero morire. Per questo motivo, i piani di assistenza sanitaria generalmente offriranno il vaccino antinfluenzale a tutti, ignorando completamente la precisione.

L'accumulazione ha un'ottima risposta su come è possibile trovare altri esempi che spiegano l'importanza della precisione rispetto al richiamo e viceversa.

La maggior parte delle altre risposte è convincente per l'importanza del richiamo, quindi ho pensato di fare un esempio sull'importanza della precisione. Questo è un esempio completamente ipotetico, ma fa il caso.

Diciamo che viene creato un modello di apprendimento automatico per prevedere se un determinato giorno è un buon giorno per il lancio di satelliti o meno in base al tempo.

• Se il modello prevede accidentalmente che una buona giornata per il lancio dei satelliti è negativa ( falso negativo ), perdiamo l'occasione di lanciarci. Questo non è un grosso problema.

• Tuttavia, se il modello prevede che è una buona giornata, ma in realtà è una brutta giornata per lanciare i satelliti ( falso positivo ), i satelliti potrebbero essere distrutti e il costo dei danni sarà di miliardi.

Questo è un caso in cui la precisione è più importante del richiamo.

Ho avuto un momento difficile ricordare la differenza tra precisione e richiamo, fino a quando non ho inventato questo mnemonico:

PREcision esegue i test PREgnancy come reCALL sta al centro CALL.

Con un test di gravidanza, il produttore del test deve essere sicuro che un risultato positivo significhi che la donna è davvero incinta. Le persone potrebbero reagire a un test positivo sposandosi improvvisamente o acquistando una casa (se molti consumatori ottenessero falsi positivi e non subissero costi enormi senza motivo, il produttore del test mancherebbe ai clienti). Ho fatto un test di gravidanza falso negativo una volta, e questo significava che ci sono volute ancora alcune settimane prima di scoprire che ero incinta ... la verità alla fine è diventata APPARENTE. (Gioco di parole previsto.)

Ora immagina un call center per i reclami assicurativi. La maggior parte delle richieste fraudolente vengono telefonate il lunedì, dopo che i truffatori si connettono con i collaboratori e creano le loro storie inventate ("diciamo che l'auto è stata rubata") durante il fine settimana. Qual è la cosa migliore da fare per una compagnia di assicurazioni il lunedì? Forse dovrebbero accordarsi per favorire il richiamo sulla precisione. È molto meglio contrassegnare più richieste come positive (probabile frode) per ulteriori indagini piuttosto che perdere parte della frode e pagare in contanti che non avrebbero mai dovuto essere pagati. Un falso positivo (contrassegnato per un ulteriore controllo come possibile frode, ma la perdita del cliente era reale) può probabilmente essere eliminato assegnando un regolatore esperto, che può insistere su un rapporto della polizia, richiedere la creazione di video di sicurezza, ecc. Un falso negativo (accettando un truffatore "

La F1 è fantastica ma capire come verrà utilizzato il test / previsione è molto importante, perché c'è sempre il rischio di sbagliarsi ... vuoi sapere quanto saranno terribili le conseguenze se sbagliate.

Rilevamento spam e-mail : questo è uno degli esempi in cui la precisione è più importante del richiamo .

Riepilogo rapido :

• Precisione : indica quando si prevede qualcosa di positivo, quante volte sono stati effettivamente positivi. mentre,

• Richiama : indica i dati positivi effettivi, quante volte hai previsto correttamente.

Detto sopra, in caso di rilevamento di e-mail di spam, si dovrebbe andare bene se un'e-mail di spam (caso positivo) non viene rilevata e non va nella cartella spam ma , se un'e-mail è buona (negativa), non deve andare a cartella dello spam. cioè Precison è più importante. (Se il modello prevede qualcosa di positivo (ad esempio spam), è meglio che sia spam. In caso contrario , potresti perdere email importanti).

Spero che chiarisca.