¿Por qué f beta score define beta así?

Question

Se trata de la puntuación beta F: $$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$$

El artículo de Wikipedia establece que $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches times as much importance to recall as precision" .

No me he hecho a la idea. ¿Por qué definir $\beta$ ¿Así? ¿Puedo definir $F_\beta$ así:

$$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$$

Y cómo mostrar times as much importance ?

Answer 1

La razón para definir la puntuación F-beta con $\beta^{2}$ es exactamente la cita que usted proporciona (es decir, querer adjuntar $\beta$ veces más importancia a la recuperación que a la precisión) dada una definición particular de lo que significa atribuir $\beta$ veces más importancia a la recuperación que a la precisión.

La forma particular de definir la importancia relativa de las dos métricas que conduce a la $\beta^{2}$ puede encontrarse en Recuperación de información (Van Rijsbergen, 1979):

Definición: La importancia relativa que un usuario concede a la precisión y a la recuperación es la $P/R$ relación en la que $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ donde $E = E(P, R)$ es la medida de eficacia basada en la precisión y la recuperación.

La motivación para ello:

La forma más sencilla que conozco de cuantificar esto es especificar el $P/R$ relación en la que el usuario está dispuesto a cambiar un aumento de la precisión por una pérdida equivalente en la recuperación.

Para ver que esto conduce a la $\beta^{2}$ podemos partir de la fórmula general para la media armónica ponderada de $P$ y $R$ y calcular sus derivadas parciales con respecto a $P$ y $R$ . La fuente citada utiliza $E$ (por "medida de eficacia"), que es simplemente $1-F$ y la explicación es equivalente tanto si consideramos $E$ o $F$ .

\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}

\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}

\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}

Ahora bien, la igualdad de las derivadas impone una restricción a la relación entre $\alpha$ y la relación $P/R$ . Dado que deseamos adjuntar $\beta$ veces más importante el recuerdo que la precisión, consideraremos la relación $R/P$ 1 :

\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}

Definición de $\beta$ como este cociente y reordenando para $\alpha$ da las ponderaciones en términos de $\beta^{2}$ :

\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}

\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}

Obtenemos:

\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}

Que puede reordenarse para dar la forma de tu pregunta.

Así, dada la definición citada, si desea adjuntar $\beta$ de la importancia de la recuperación en comparación con la precisión. $\beta^{2}$ formulación. Esta interpretación no es válida si se utiliza $\beta$ .

Podría definir una puntuación como sugiere. En este caso, como Vic ha mostrado, la definición para la importancia relativa que estaría asumiendo es:

Definición: La importancia relativa que un usuario concede a la precisión y a la recuperación es la $(\partial{E}/ \partial{R}) / (\partial{E}/ \partial{P})$ relación en la que $R = P$ .

Notas a pie de página:

1. $P/R$ se utiliza en Recuperación de información pero parece ser un error tipográfico, véase La verdad de la medida F (Saski, 2007).

Referencias:

1. C. J. Van Rijsbergen. 1979. Information Retrieval (2ª ed.), pp.133-134
2. Y. Sasaki. 2007. "La verdad de la medida F", Enseñanza, Materiales didácticos

Answer 2

Dejar $\beta$ sea el peso en la primera definición que proporcione y $\tilde\beta$ el peso en la segunda, las dos definiciones son equivalentes cuando se establece $\tilde\beta = \beta^2$ por lo que estas dos definiciones sólo representan diferencias notacionales en la definición de la $F_\beta$ puntuación. Lo he visto definido tanto de la primera manera (por ejemplo, en la página de wikipedia ) y el segundo (por ejemplo aquí ).

En $F_1$ se obtiene tomando la media armónica de la precisión y la recuperación, es decir, el recíproco de la media del recíproco de la precisión y el recíproco de la recuperación:

\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}

En lugar de utilizar pesos en el denominador que sean iguales y sumen 1 ( $\frac{1}{2}$ para la retirada y $\frac{1}{2}$ para la precisión), podríamos asignar ponderaciones que sigan sumando 1 pero para las que la ponderación de la recuperación sea $\beta$ veces mayor que el peso de la precisión ( $\frac{\beta}{\beta+1}$ para la retirada y $\frac{1}{\beta+1}$ para mayor precisión). Así se obtiene la segunda definición de $F_\beta$ puntuación:

\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}

De nuevo, si hubiéramos utilizado $\beta^2$ en lugar de $\beta$ aquí habríamos llegado a su primera definición, por lo que las diferencias entre las dos definiciones son sólo notacionales.

Answer 3

Para señalar algo rápidamente.

Significa que a medida que aumenta el valor beta, se valora más la precisión.

En realidad creo que es al revés: como más alto es mejor en la puntuación F-β, quieres que el denominador sea pequeño. Por lo tanto, si disminuye β, entonces el modelo es castigado menos por tener una buena puntuación de precisión. Si aumenta β, entonces la puntuación F-β se castiga más cuando la precisión es alta.

Si se quiere ponderar la puntuación F-β para que valore la precisión, β debería ser 0 < β < 1, donde β->0 valora sólo la precisión (el numerador se hace muy pequeño, y lo único que hay en el denominador es recall, por lo que la puntuación F-β disminuye a medida que aumenta recall).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

Answer 4

TLDR; Contrariamente a la literatura que se remonta a una definición arbitraria propuesta, el uso de una $\beta$ término como OP sugiere es en realidad más intuitivo que el $\beta^2$ plazo.

Una persona La respuesta de $\beta^{2}$ dada la forma elegida por Van Rijsbergen para definir la importancia relativa de la precisión y la recuperación. Sin embargo, hay una consideración que falta en la literatura, y que yo argumento aquí: la definición elegida es poco intuitiva y poco natural, y si realmente se utilizara $F_\beta$ (en la práctica) la forma en que se define, rápidamente se quedaría pensando, "el efecto de $\beta$ parece mucho más agresivo que el valor que he elegido".

Para ser justos, es sobre todo el resumen de Wikipedia el que induce a error, ya que olvida mencionar la medida subjetiva de importancia implicada, mientras que Van Rijsbergen se limitó a presentar una posible definición sencilla, pero no necesariamente la mejor ni la más significativa.

Repasemos la definición elegida por Van Rijsbergen:

La forma más sencilla que conozco de cuantificar esto es especificar el $P/R$ relación en la que el usuario está dispuesto a cambiar un aumento de la precisión por una pérdida equivalente en la recuperación.

En general, si $R/P > \beta$ entonces un aumento de $P$ es más influyente que un aumento de $R$ mientras que $R$ es más influyente que $P$ donde $R/P < \beta$ . Pero he aquí por qué argumentaría que la ponderación es poco intuitiva. Cuando $P = R$ Aumento de $R$ son $\beta^2$ veces más eficaz que $P$ . (Esto puede calcularse a partir de las derivadas parciales proporcionadas en Una persona ) Cuando alguien dice "quiero que recall tenga una ponderación 3 veces más importante que la precisión", yo no me lanzaría a la definición que equivale a "la precisión se penalizará hasta que sea literalmente un tercio del valor de recall", y desde luego no esperaría que cuando precisión y recall sean iguales, recall contribuya 9 veces más. Eso no parece práctico en la mayoría de las situaciones en las que lo ideal es que tanto la precisión como la recuperación sean altas, sólo que una sea un poco más alta que la otra.

A continuación se muestra una representación visual de lo que $F_\beta$ parece. Las líneas rojas resaltan la relación $R/P = \beta$ y que las derivadas parciales de $F_\beta$ son iguales en esa relación, mostrada por las pendientes rojas sólidas.

Presentaré ahora una definición subjetiva alternativa, que equivale a "cuando la precisión y la recuperación son iguales, las mejoras en la recuperación valen la pena $\gamma$ veces más que las mejoras en precisión". Yo sostengo que esta definición es más intuitiva a la vez que igual de sencilla que la de Van Rijsbergen:

En $P = R$ set $\frac{\partial{F}/\partial{R}}{\partial{F}/\partial{P}} = \gamma$ donde $\gamma$ es la importancia relativa de mejoras en recall sobre precisión.

Sustituyendo las ecuaciones derivadas en Una persona la respuesta:

$\frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} = \gamma \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}}$

Recordando que $P = R$ esto se simplifica a:

$\gamma = \frac{1-\alpha}{\alpha}$ y $\alpha = \frac{1}{\gamma + 1}$ ,

en contraste con:

$\beta^2 = \frac{1-\alpha}{\alpha}$ y $\alpha = \frac{1}{\beta^2+1}$ según la formulación de Van Rijsbergen.

¿Qué significa esto? Un resumen informal:

• Definición de Van Rijsbergen $\Leftrightarrow$ recordar es $\beta$ veces más importante que la precisión en términos de valor .
• Mi propuesta de definición $\Leftrightarrow$ recordar es $\gamma$ veces más importante que la precisión en términos de mejora del valor .
• Ambas definiciones se basan en una media armónica ponderada de precisión y recuperación, y las ponderaciones de estas dos definiciones pueden corresponderse. En concreto, colocar $\beta = \sqrt{\gamma}$ veces la importancia en términos de valor equivale a colocar $\gamma$ veces la importancia en términos de mejora del valor.
• Se puede argumentar que el uso de un $\beta$ en lugar de $\beta^2$ es una ponderación más intuitiva.

Answer 5

La razón por la que β^2 se multiplica con precisión es simplemente la forma en que se definen las puntuaciones F. Significa que a medida que aumenta el valor beta, se valora más la precisión. Si se quisiera multiplicar por la recuperación, también funcionaría, pero significaría que, a medida que aumenta el valor beta, se valora más la recuperación.