¿Por qué no cambia la precisión al aplicar diferentes valores de alfa en la regularización L2?

Question

La figura siguiente muestra la precisión utilizando diferentes valores de alfa en la regularización L2. Mientras alfa sea pequeño en el rango de $10^{-12}$ a $10^{-2}$ la precisión sigue siendo la misma. Entiendo cuando el valor alfa es $10^{1}$ o mayor aumentará las ponderaciones hasta un punto en el que no se ajusten a los datos de forma óptima y, por tanto, se produzca un infraajuste. ¿Cuál es la razón por la que la precisión sigue siendo la misma con valores alfa más pequeños? La fórmula es: $$w^{2}=w^{1}-\alpha*w^{1}$$

donde $w^{1}$ y $w^{2}$ son respectivamente los parámetros de peso reciente y regularizado, $\alpha$ es el parámetro de regularización que especifica la cantidad de regularización.

Answer 1

Las distintas funciones de pérdida reflejan diferentes respuestas a la pregunta ¿Qué hace que un modelo sea "bueno"? Elegir una función de pérdida en lugar de otra es elegir implícitamente una interpretación de la "bondad del modelo" en lugar de otra.

En el caso de la inexactitud, la función de pérdida sólo comprueba si el mayor valor predicho coincide con la clase objetivo, y la pérdida es la fracción predicha incorrectamente.

La pérdida de entropía cruzada otorga una pérdida menor a las predicciones que están más cerca de la etiqueta de la clase.

La diferencia entre la pérdida de entropía cruzada y la inexactitud es la diferencia entre hacer un curso para pasar/reprobar o para obtener una calificación. Una rúbrica de aprobado/reprobado sólo te dice si mínimo se han cumplido los requisitos. Una calificación con letra le indica lo bien que que un estudiante realizó. Así, la puntuación de inexactitud es ocultando el efecto de la $\alpha$ parámetro: el valores previstos para las observaciones es casi seguro que cambian a diferentes valores $\alpha$ pero el clasificación relativa de las puntuaciones no lo es, por lo que la (in)precisión es plana.

A modo de ejemplo, consideremos los siguientes resultados

observación

$\alpha_1$

$\alpha_2$

etiqueta

1

0.01

0.49

0

2

0.99

0.51

1

Obviamente, estos dos modelos tendrán la misma (in)precisión para estos datos, pero la pérdida de entropía cruzada será completamente diferente.

La inexactitud es obviamente $0.0$ para ambos $\alpha_1$ y $\alpha_2$ utilizando la regla de que el argmax de las predicciones es la clase predicha. Además, como la inexactitud está limitada por $0.0$ Si se comparan los modelos en función de la pérdida de precisión, es imposible mejorar ninguno de ellos.

Sin embargo, la pérdida de entropía cruzada en el caso de $\alpha_1$ es $-\log(0.99)-\log(1-0.01)=-2\log(0.99)\approx 0.02.$

Para $\alpha_2$ la pérdida de entropía cruzada es $-\log(0.51)-\log(1-0.49)=-2\log(0.51)\approx 1.35$ . Esto demuestra que una métrica sensible a la grado de precisión de las predicciones es más informativo que uno que no lo es, en el sentido de que una mayor (menor) confianza sobre la clase correcta se refleja en la pérdida.

Dicho de otro modo, el (in)exactitud de $\alpha_1$ y $\alpha_2$ es la misma, por lo que la pérdida de precisión por sí sola no es suficiente para distinguir entre los dos modelos.

En cambio, la pérdida de entropía cruzada es completamente diferente: $\alpha_1$ es el mejor modelo según la pérdida de entropía cruzada, porque su pérdida es menor que la de $\alpha_2$ .

Answer 2

No existe una relación directa entre alfa y precisión. El alfa influye en las ponderaciones del modelo. Y las ponderaciones influyen en la pérdida del modelo. Por último, la pérdida influye en la precisión del modelo. El cambio de alfa ciertamente conducirá al cambio del valor del peso y la pérdida, pero diferentes pesos y pérdida no significan diferente precisión. La razón está en la respuesta de @Sycorax.