Perché il punteggio f beta definisce la beta in questo modo?

10

Questo è il punteggio F beta:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

L'articolo di Wikipedia afferma che . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Non ho avuto l'idea. Perché definire questo modo? Posso definire questo modo: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

E come mostrare β times as much importance?

machine-learning precision-recall model-evaluation

— ordinato
fonte

2

Scopri di seguito una risposta più recente che include il calcolo differenziale che affronta "perché Beta al quadrato e non Beta".

— Javavba il

19

Consentendo che sia il peso nella prima definizione fornita e il peso nella seconda, le due definizioni sono equivalenti quando si imposta , quindi queste due definizioni rappresentano solo differenze notazionali nella definizione del punteggio . L'ho visto definito sia nel primo modo (ad esempio sulla pagina di Wikipedia ) sia nel secondo (ad esempio qui ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

La misura si ottiene prendendo la media armonica di precisione e richiamo, ovvero il reciproco della media del reciproco di precisione e il reciproco di richiamo: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Invece di usare pesi nel denominatore che sono uguali e si sommano a 1 ( per il richiamo e $\frac{1}{2}$ per precisione), potremmo invece assegnare pesi che comunque si sommano a 1 ma per i quali il peso al richiamo èvolte maggiore del peso sulla precisione ( $\frac{1}{2}$ $\beta$ per il richiamo e $\frac{\beta}{\beta+1}$ per precisione). Questo produce la tua seconda definizione delpunteggio: $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Ancora una volta, se avessimo usato anziché qui saremmo arrivati alla tua prima definizione, quindi le differenze tra le due definizioni sono solo notazionali. $\beta^2$ $\beta$

— josliber
fonte

1

β

$\beta$

1

Il calcolo differenziale che affronta "perché Beta al quadrato e non Beta" è incluso in una risposta più recente di seguito.

— Javavba,

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

6

$\beta^{2}$ $\beta$ $\beta$

$\beta^{2}$

$P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

La motivazione per questo essere:

$P/R$

$\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

$\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

$\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Otteniamo:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Che può essere riorganizzato per dare il modulo nella tua domanda.

$\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Potresti definire un punteggio come suggerisci, tuttavia dovresti essere consapevole che in questo caso o l'interpretazione discussa non vale più o stai implicando qualche altra definizione per quantificare il compromesso tra precisione e richiamo.

Note:

$P/R$

Riferimenti:

— Una persona
fonte

1

Questa dovrebbe essere la risposta accettata.

— Javavba il

3

Per segnalare qualcosa rapidamente.

Ciò significa che all'aumentare del valore beta, dai maggiore valore alla precisione.

In realtà penso che sia l'opposto - poiché più alto è meglio nel punteggio F-β, vuoi che il denominatore sia piccolo. Pertanto, se si riduce β, il modello viene punito meno per avere un buon punteggio di precisione. Se aumenti β, il punteggio F-β viene punito di più quando la precisione è alta.

Se vuoi ponderare il punteggio F-β in modo che valuti la precisione, β dovrebbe essere 0 <β <1, dove β-> 0 valuta solo la precisione (il numeratore diventa molto piccolo e l'unica cosa nel denominatore è il richiamo, quindi il punteggio F-β diminuisce all'aumentare del richiamo).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
fonte

0

Il motivo per cui β ^ 2 viene moltiplicato con precisione è proprio il modo in cui vengono definiti i punteggi F. Ciò significa che all'aumentare del valore beta, dai maggiore valore alla precisione. Se volessi moltiplicarlo con il richiamo che avrebbe funzionato, significherebbe solo che quando il valore beta aumenta, il valore richiama maggiormente.

— Mahmoud
fonte

0

Il valore beta maggiore di 1 significa che vogliamo che il nostro modello presti maggiore attenzione al modello Richiamo rispetto a Precisione. Dall'altro, un valore inferiore a 1 pone maggiormente l'accento sulla precisione.

— Mohit Sharma
fonte