Comprensión conceptual del error medio cuadrático y de la desviación media del sesgo

Question

Me gustaría comprender conceptualmente el error medio cuadrático (RMSE) y la desviación media del sesgo (MBD). Tras calcular estas medidas para mis propias comparaciones de datos, a menudo me he quedado perplejo al comprobar que el RMSE es alto (por ejemplo, 100 kg), mientras que la MBD es baja (por ejemplo, menos del 1%).

Más concretamente, estoy buscando una referencia (no en línea) que enumere y discuta las matemáticas de estas medidas. ¿Cuál es la forma normalmente aceptada de calcular estas dos medidas, y cómo debería informar de ellas en un artículo de revista?

En el contexto de este post, sería muy útil disponer de un conjunto de datos "de juguete" que pueda utilizarse para describir el cálculo de estas dos medidas.

Por ejemplo, supongamos que tengo que encontrar la masa (en kg) de 200 widgets producidos por una cadena de montaje. También tengo un modelo matemático que intentará predecir la masa de estos widgets. El modelo no tiene por qué ser empírico y puede tener una base física. Calculo el RMSE y el MBD entre las mediciones reales y el modelo, y descubro que el RMSE es de 100 kg y el MBD es del 1%. ¿Qué significa esto conceptualmente y cómo debo interpretar este resultado?

Supongamos ahora que, a partir del resultado de este experimento, encuentro que el RMSE es de 10 kg y el MBD es del 80%. ¿Qué significa esto y qué puedo decir sobre este experimento?

¿Cuál es el significado de estas medidas y qué implican ambas (en conjunto)? ¿Qué información adicional aporta la DPM cuando se considera con el RMSE?

Answer 1

Creo que estos conceptos son fáciles de explicar. Así que prefiero describirlos aquí. Estoy seguro de que muchos libros de estadística elemental cubren esto, incluyendo mi libro "The Essentials of Biostatistics for Physicians, Nurses and Clinicians".

Piense en una diana con un ojo de buey en el centro. El error cuadrático medio representa la distancia media al cuadrado entre una flecha disparada en la diana y el centro. Ahora bien, si las flechas se dispersan uniformemente alrededor del centro, el tirador no tiene ningún sesgo de puntería y el error cuadrático medio es el mismo que la varianza.

Pero en general las flechas pueden dispersarse alrededor de un punto alejado del objetivo. La distancia media al cuadrado de las flechas desde el centro de las flechas es la varianza. Este centro podría considerarse como el punto de puntería del tirador. La distancia desde el centro del tirador o punto de mira hasta el centro del blanco es el valor absoluto del sesgo.

Pensando en un triángulo rectángulo donde el cuadrado de la hipotenusa es la suma de los cuadrados de los dos lados. Así, la distancia al cuadrado de la flecha al blanco es el cuadrado de la distancia de la flecha al punto de puntería y el cuadrado de la distancia entre el centro del blanco y el punto de puntería. Al promediar todas estas distancias al cuadrado se obtiene el error cuadrático medio como la suma del sesgo al cuadrado y la varianza.

Answer 2

El RMSE es una forma de medir lo bueno que es nuestro modelo predictivo sobre los datos reales, cuanto más pequeño sea el RMSE mejor será el comportamiento del modelo, es decir, si lo probamos en un nuevo conjunto de datos (no en nuestro conjunto de entrenamiento), pero de nuevo tener un RMSE de 0,37 sobre un rango de 0 a 1, supone muchos errores frente a tener un RMSE de 0,01 como mejor modelo. BIAS es para sobreestimar o subestimar.

Answer 3

Por lo que puedo entender, un RMSE da un valor más preciso del error entre el modelo y lo observado, sin embargo el BIAS, además de dar un valor del error (menos preciso que el RMSE), también puede determinar si el modelo tiene un sesgo positivo o negativo, si el modelo está subestimando o sobreestimando los valores observados.