Come scegliere un buon punto operativo tra le curve di richiamo di precisione?

Esiste un metodo standard per determinare un punto di funzionamento "ottimale" su una curva di richiamo di precisione ? (ovvero, determinare il punto sulla curva che offre un buon compromesso tra precisione e richiamo)

Grazie

La definizione di "ottimale" dipenderà ovviamente dai tuoi obiettivi specifici, ma qui ci sono alcuni metodi relativamente "standard":

• Punto EER (Equal Error Rate): il punto in cui la precisione è uguale al richiamo. Ad alcune persone questo sembra un punto operativo "naturale".

• Una versione più raffinata e di principio di cui sopra è quella di specificare il costo dei diversi tipi di errori e ottimizzare tale costo. Supponiamo che erroneamente classificare un articolo (un errore in precisione) sia due volte più costoso di perdere completamente un articolo (errore nel richiamo). Quindi il miglior punto operativo è quello dove (1 - richiamo) = 2 * (1 - precisione).

• In alcuni problemi le persone hanno un tasso minimo accettabile naturale di precisione o richiamo. Supponi di sapere che se oltre il 20% dei dati recuperati non è corretto, gli utenti smetteranno di utilizzare l'applicazione. Quindi è naturale impostare la precisione all'80% (o un po 'più in basso) e accettare qualunque richiamo tu abbia a quel punto.

In seguito al secondo e al terzo punto elenco di SheldonCooper: la scelta ideale è che qualcun altro faccia la scelta, sotto forma di soglia (punto 3) o di un compromesso in termini di costi (punto 2). E forse il modo migliore per offrire loro la scelta è con una curva ROC .

Non sono sicuro di quanto sia "standard", ma un modo sarebbe quello di scegliere il punto più vicino a (1, 1), ovvero il 100% di richiamo e la precisione del 100%. Sarebbe l'equilibrio ottimale tra le due misure. Questo presuppone che non apprezzi la precisione rispetto al richiamo o viceversa.