Combinare i classificatori lanciando una moneta

Sto studiando un corso di apprendimento automatico e le diapositive delle lezioni contengono informazioni che ritengo contraddittorie con il libro raccomandato.

Il problema è il seguente: ci sono tre classificatori:

• classificatore A che fornisce migliori prestazioni nell'intervallo inferiore delle soglie,
• classificatore B che fornisce migliori prestazioni nell'intervallo superiore delle soglie,
• classificatore C cosa otteniamo lanciando una p-coin e selezionando tra i due classificatori.

Quale sarà la prestazione del classificatore C, vista su una curva ROC?

Le diapositive della lezione affermano che, semplicemente lanciando questa moneta, otterremo il magico " scafo convesso " della curva ROC del classificatore A e B.

Non capisco questo punto. Semplicemente lanciando una moneta, come possiamo ottenere informazioni?

La diapositiva della lezione

Cosa dice il libro

Il libro raccomandato ( Data Mining ... di Ian H. Witten, Eibe Frank e Mark A. Hall ) afferma invece che:

Per vedere questo, scegli un limite di probabilità particolare per il metodo A che dia tassi di vero e falso positivi rispettivamente di tA e fA e un altro limite per il metodo B che dia tB e fB. Se usi questi due schemi a caso con probabilità p e q, dove p + q = 1, otterrai tassi di vero e falso positivo di p. tA + q. TB e p. fA + q. fB. Questo rappresenta un punto che giace sulla retta che unisce i punti (tA, fA) e (tB, fB) e variando p e q è possibile tracciare l'intera linea tra questi due punti.

Secondo la mia comprensione, ciò che dice il libro è che per ottenere effettivamente informazioni e raggiungere lo scafo convesso dobbiamo fare qualcosa di più avanzato del semplice lancio di una p-coin.

AFAIK, il modo corretto (come suggerito dal libro) è il seguente:

1. dovremmo trovare una soglia ottimale Oa per il classificatore A
2. dovremmo trovare una soglia ottimale Ob per il classificatore B

3. definire C come segue:

   • Se t <Oa, utilizzare il classificatore A con t
   • Se t> Ob, utilizzare il classificatore B con t
   • Se Oa <t <Ob, scegli tra il classificatore A con Oa e B con Ob in base alla probabilità come una combinazione lineare di dove siamo tra Oa e Ob.

È corretto? Se sì, ci sono alcune differenze chiave rispetto a quanto suggerito dalle diapositive.

1. Non è un semplice lancio di monete, ma un algoritmo più avanzato che richiede punti e scelte definiti manualmente in base alla regione in cui cadiamo.
2. Non utilizza mai i classificatori A e B con valori di soglia compresi tra Oa e Ob.

Puoi spiegarmi questo problema e qual è il modo corretto di capirlo , se la mia comprensione non era corretta?

Cosa accadrebbe se semplicemente lanciassimo una p-coin come suggerirebbero le diapositive? Penserei che otterremmo una curva ROC compresa tra A e B, ma mai "migliore" di quella migliore in un dato punto.

Per quanto posso vedere, davvero non capisco come le diapositive potrebbero essere corrette. Il calcolo probabilistico sul lato sinistro non ha senso per me.

Aggiornamento: trovato l'articolo scritto dall'autore originale che ha inventato il metodo dello scafo convesso: http://www.bmva.org/bmvc/1998/pdf/p082.pdf

(Modificato)

Le diapositive delle lezioni sono giuste.

Il metodo A ha un "punto ottimale" che fornisce rispettivamente tassi di vero e falso positivo (TPA, FPA nel grafico). Questo punto corrisponderebbe a una soglia, o più in generale [*] a un limite di decisione ottimale per A. Lo stesso vale per B. (Ma le soglie e i confini non sono correlati).

Si è visto che il classificatore A si comporta bene sotto la preferenza "minimizza i falsi positivi" (strategia conservativa) e il classificatore B quando vogliamo "massimizzare i veri positivi" (strategia avida).

La risposta alla tua prima domanda è sostanzialmente sì, tranne per il fatto che la probabilità della moneta è (in un certo senso) arbitraria. Il clasiffier finale sarebbe:

$x$$x$$p$

(Corretto: in realtà, le lezioni sono completamente giuste, possiamo solo lanciare la moneta in ogni caso. Vedi i diagrammi)

$p$

[*] Dovresti essere generale qui: se pensi in termini di una singola soglia scalare, tutto ciò ha poco senso; una caratteristica monodimensionale con un classificatore basato su soglia non ti dà abbastanza gradi di libertà per avere classificatori diversi come A e B, che si compie lungo curve diverse quando i paramenters liberi (limite di decisione = soglia) variano. In altre parole: A e B sono chiamati "metodi" o "sistemi", non "classificatori"; perché A è un'intera famiglia di classificatori, parametrizzata da un parametro (scalare) che determina un limite di decisione, non solo uno scalare]

Ho aggiunto alcuni diagrammi per renderlo più chiaro:

$t$$t$$t$$t_A=2$$t$$t_B=4$

In questo scenario, quindi, si può dire che la linea arancione riempita è il "classificatore A ottimale" (all'interno della sua famiglia), e lo stesso per B. Ma non si può dire se la linea arancione sia migliore della linea blu: si esegue meglio quando assegniamo costi elevati a falsi positivi, l'altro quando i falsi negativi sono molto più costosi.

Ora, potrebbe accadere che questi due classificatori siano troppo estremi per le nostre esigenze, vorremmo che entrambi i tipi di errori abbiano pesi simili. Preferiremmo, invece di usare il classificatore A (punto arancione) o B (punto blu) per ottenere una performance che si trova tra di loro. Come dice il corso, si può ottenere quel risultato semplicemente lanciando una moneta e scegliendo uno dei classificatori a caso.

Semplicemente lanciando una moneta, come possiamo ottenere informazioni?

Non otteniamo informazioni. Il nostro nuovo classificatore randomizzato non è semplicemente "migliore" di A o B, ma le sue prestazioni sono una media di A e B, per quanto riguarda i costi assegnati a ciascun tipo di errore. Questo può essere utile o meno per noi, a seconda di quali sono i nostri costi.

AFAIK, il modo corretto (come suggerito dal libro) è il seguente ... È corretto?

$p$

Sono d'accordo con il tuo ragionamento. Se usi il classificatore lanciando una moneta per sceglierne uno quando ti trovi tra i punti A e B, il tuo punto sulla curva sarebbe sempre al di sotto del classificatore migliore e al di sopra di quello più povero e probabilmente non al di sopra di entrambi! Ci deve essere qualcosa di sbagliato nel diagramma. Nel punto in cui le 2 curve ROC si incrociano, l'algoritmo di selezione casuale avrà le stesse prestazioni dei due algoritmi. Non sarà sopra di esso nel modo in cui lo mostra il diagramma.