Quali sono le misure per l'accuratezza dei dati multilabel?

Prendi in considerazione uno scenario in cui ti viene fornita la matrice KnownLabel e la matrice PredictedLabel. Vorrei misurare la bontà della matrice PredictedLabel rispetto alla matrice KnownLabel.

Ma la sfida qui è che KnownLabel Matrix ha poche righe solo una 1 e altre poche righe hanno molte 1 (quelle istanza sono multietichettate). Di seguito è riportato un esempio di KnownLabel Matrix.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Nella matrice sopra, le istanze di dati 1 e 2 sono dati a etichetta singola, le istanze di dati 3 e 4 sono due dati di etichetta e l'istanza di dati 5 è i tre dati di etichetta.

Ora ho PredictedLabel Matrix dell'istanza di dati usando un algoritmo.

Vorrei conoscere varie misure che possono essere utilizzate per misurare la bontà della matrice PredictedLabel rispetto a KnownLabel Matrix.

Posso pensare alla differenza della norma frobeinus tra loro come una delle misure. Ma sto cercando la misura come accuratezza $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Qui come possiamo definire il per più istanze di dati? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— allievo
fonte

(+1) Sidenote: c'è un motivo specifico per cui non hai accettato una risposta nella maggior parte delle tue domande? Perché non hai pubblicato un commento quando la risposta fornita non ha risolto il tuo problema? Ad esempio: stats.stackexchange.com/questions/9947/…

— steffen,

Risposte:

(1) offre una bella panoramica:

La pagina multi-label della pagina Wikipedia contiene anche una sezione sulle metriche di valutazione.

Vorrei aggiungere un avvertimento che nell'impostazione multilabel, l'accuratezza è ambigua: potrebbe riferirsi al rapporto esatto della corrispondenza o al punteggio di Hamming (vedi questo post ). Sfortunatamente, molti articoli usano il termine "accuratezza".

(1) Sorower, Mohammad S. " Un sondaggio sulla letteratura sugli algoritmi per l'apprendimento multi-etichetta. " Oregon State University, Corvallis (2010).

— Franck Dernoncourt
fonte

Queste definizioni vanno contro le definizioni generali di Precisione e Richiamo? Ho sempre letto che la precisione dovrebbe dividere per TP + FP e il richiamo dovrebbe dividere per TP + FN (le definizioni proposte qui fanno il contrario se ho capito bene).

— tomasyany,

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

per la accuracymisura, come gestisci elegantemente i casi in cui il denominatore |Y + Z| == 0?

— ihadanny,

@tomasyany si riferisce alle definizioni di testo (non alle formule), che sembrano essere cambiate.

— Narfanar,

E questa definizione di AP assomiglia di più a mAP (AP medio), no? Ciò che viene definito "precisione" è l'IoU medio. I termini sono nel complesso un po 'confusi.

— Narfanar,

La perdita di Hamming è probabilmente la funzione di perdita più utilizzata nella classificazione multietichetta.

Dai un'occhiata agli studi empirici sulla classificazione multi-etichetta e sulla classificazione multi-etichetta: una panoramica di cui entrambi discutono.

— tdc
fonte

Correctly Predictedè l'intersezione tra il set di etichette suggerite e il set previsto. Total Instancesè l'unione dei set sopra (nessun conteggio duplicato).

Quindi, dato un singolo esempio in cui si prevedono classi A, G, Ee il test case ha E, A, H, Pquelli corretti con cui si finisceAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
fonte