Come confrontare due algoritmi di classificazione?

12

Voglio confrontare due algoritmi di classificazione. In questi algoritmi, il client specifica alcune condizioni nella sua ricerca. In base alle esigenze del cliente, questi algoritmi dovrebbero assegnare un punteggio per ciascun elemento nella banca dati e recuperare gli elementi con il punteggio più alto.

Ho letto diversi argomenti relativi alla mia domanda in questo sito e ho cercato in rete. Secondo le mie ricerche, l'articolo più pertinente che spiega alcune metriche per confrontare gli algoritmi di classificazione, è stato questo: Brian McFee e Gert RG Lanckriet, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Penso che prec @ k, MAP, MRR e NDCG siano buone metriche da utilizzare, ma ho un problema:

Il mio algoritmo ordina i risultati, quindi il primo elemento nella mia lista dei risultati è il migliore con il punteggio più alto, il secondo risultato ha il secondo punteggio più alto e così via. Limito il mio algoritmo di ricerca per trovare, ad esempio, i 5 migliori risultati. I risultati sono i 5 principali. Quindi, la precisione sarà 1. Quando limito la mia ricerca per trovare il miglior risultato, trova il migliore. Ancora una volta, la precisione sarà 1. Ma il problema è che è inaccettabile per le persone che vedono questo risultato.

Cosa posso fare? Come posso confrontare questi algoritmi e mostrare che uno è migliore dell'altro?

machine-learning precision-recall average-precision

— MK
fonte

6

Il guadagno cumulativo scontato (DCG) è una delle metriche più popolari utilizzate per la valutazione del posizionamento da qualsiasi motore di ricerca. È una misura della qualità della classifica. Nel recupero delle informazioni, viene spesso utilizzato per misurare l'efficacia del motore di ricerca web.

Si basa sui seguenti presupposti:

I documenti di grande rilevanza sono più utili se compaiono prima in un risultato di ricerca.
I documenti altamente pertinenti sono più utili dei documenti marginalmente rilevanti che sono migliori dei documenti non pertinenti.

La formula per DCG è la seguente:

\begin{matrix} (1) & D C G_{p} = \sum_{i = 1}^{p} \frac{r e l_{i}}{l o g_{2} (i + 1)} = r e l_{1} + \sum_{i = 2}^{p} \frac{r e l_{i}}{l o g_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {rel_i} {log_2 (i+1)} = rel_1 + \sum_{i=2}^p \frac {rel_i} {log_2 (i+1)} \tag{1}$

Dove:

è la posizione restituita di un documento nel risultato della ricerca.
$rel_i$ è la pertinenza classificata del documento
somma su p (numero di risultati restituiti) quindi, il guadagno cumulativo accumulato fornisce le metriche di prestazione del risultato restituito.

DCG è derivato da CG (Guadagno cumulativo) , dato da:

\begin{matrix} (2) & C G_{p} = \sum_{i = 1}^{p} r e l_{i} \end{matrix}

$CG_p = \sum_{i=1}^p rel_i \tag{2}$

Da (2) si può vedere che non cambia per un cambiamento nell'ordine dei risultati. Pertanto, per ovviare a questo problema è stato introdotto DCG. Esiste una diversa forma di DCG, che è popolare per porre un'enfasi molto elevata sul recupero dei documenti. Questa versione di DCG è data da: $CG_p$

\begin{matrix} (3) & D C G_{p} = \sum_{i = 1}^{p} \frac{2^{r e l_{i}} - 1}{l o g_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {2^{rel_i} - 1} {log_2 (i+1)} \tag{3}$

Un ovvio svantaggio dell'equazione DCG presentata in (1) e (3) è che gli algoritmi che restituiscono un numero diverso di risultati non possono essere confrontati in modo efficace. Questo perché maggiore è il valore di maggiore sarà il valore di ridimensionato. $p$ $DCG_p$

Per ovviare a questo problema, viene proposto un DCG normalizzato (nDCG) . È dato da,

n D C G_{p} = \frac{D C G_{p}}{I D C G_{p}}

$nDCG_p = \frac {DCG_p} {IDCG_p}$

dove è l'ideale , dato da, $IDCG_p$ $DCG_p$

I D C G_{p} = \sum_{i = 1}^{| R E L |} \frac{2^{r e l_{i}} - 1}{l o g_{2} (i + 1)}

$IDCG_p = \sum_{i=1}^{|REL|} \frac {2^{rel_i} - 1} {log_2 (i+1)}$

Dove | REL | è l'elenco dei documenti ordinati per rilevanza nel corpus fino alla posizione p.

Per un algoritmo di classificazione perfetto,

D C G_{p} = I D C G_{p}

$DCG_p = IDCG_p$

Poiché i valori di nDCG sono ridimensionati nell'intervallo [0,1], il confronto tra query è possibile utilizzando queste metriche.

Svantaggi: 1. nDCG non penalizza il recupero di documenti errati nel risultato. Ciò è riparabile regolando i valori di pertinenza attribuiti ai documenti. 2. nDCG non penalizza i documenti mancanti. Questo può essere risolto fissando la dimensione del recupero e usando il punteggio minimo per i documenti mancanti.

Fare riferimento a questo per vedere esempi di calcoli di nDCG.

Riferimento

— m1cro1ce
fonte

0

Risorse utili:

http://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt
http://www.nii.ac.jp/TechReports/05-014E.pdf
http://www.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
http://hal.archives-ouvertes.fr/docs/00/72/67/60/PDF/07-busa-fekete.pdf
Imparare a classificare per il recupero di informazioni (Tie-Yan Liu)

— Renaud
fonte