Risposte:
Come affermano correttamente altre risposte, le probabilità riportate da modelli come la regressione logistica e Bayes ingenui sono stime della probabilità di classe. Se il modello fosse vero, la probabilità sarebbe effettivamente la probabilità di una corretta classificazione.
Tuttavia, è abbastanza importante capire che ciò potrebbe essere fuorviante perché il modello è stimato e quindi non un modello corretto. Ci sono almeno tre problemi.
L' incertezza è solo il fatto presente ovunque che la probabilità è solo una stima. Un intervallo di confidenza della probabilità di classe stimata potrebbe fornire qualche idea sull'incertezza (della probabilità di classe, non della classificazione).
Se la procedura di stima (intenzionalmente) fornisce una stima distorta , le probabilità della classe sono errate. Questo è qualcosa che vedo con metodi di regolarizzazione come il lazo e la cresta per la regressione logistica. Mentre una scelta cross-validata della regolarizzazione porta a un modello con buone prestazioni in termini di classificazione, le probabilità di classe risultanti sono chiaramente sottovalutate (troppo vicine allo 0,5) in casi di test. Questo non è necessariamente negativo, ma importante essere consapevoli.
Per un banco di prova (ingresso particolare), sua classe (diciamo l'etichetta 1 per l'uscita binaria) probabilità predittiva è la possibilità dell'esempio prova appartiene a tale classe. In molti di questi casi di test, la proporzione appartenente alla classe 1 tenderà alla probabilità predittiva. La fiducia ha connotazioni di intervalli di confidenza, che sono qualcosa di molto diverso.
Se un classificatore prevede una certa classe con una probabilità, quel numero può essere usato come proxy per il grado di confidenza in quella classificazione. Da non confondere con gli intervalli di confidenza. Ad esempio, se il classificatore P prevede due casi come +1 e -1 con probabilità 80% e 60%, è corretto affermare che è più sicuro della classificazione +1 che della classificazione -1. La varianza misurata da p (1-p) è anche una buona misura di incertezza. Nota, la sicurezza di base è del 50% e non di 0.
Dato un classificatore con 2 classi (ad esempio un discriminante lineare a 2 classi o un classificatore di regressione logistica) il valore discriminante per entrambe le classi può essere applicato a una funzione di softmax per produrre una stima della probabilità posteriore per quella classe:
P1 = exp (d1) / (exp (d1) + exp (d2))
Dove P1 è la stima della probabilità posteriore per la classe 1, d1 e d2 sono valori discriminanti rispettivamente per le classi 1 e 2. In questo caso la probabilità posteriore stimata per una data classe può essere considerata come un grado di confidenza nella classe, per un dato caso poiché P1 sarà uguale a 1 - P2.