¿Qué es la corrección del sesgo?

Question

He visto muchos sitios en los que tienen conjuntos de datos de entrada/salida en los que primero crean una línea de regresión lineal, corrigen el sesgo y luego sólo utilizan esos datos para su modelo. No entendí qué es esta corrección de sesgo?

Answer 1

Aunque el planteamiento del problema no es lo suficientemente preciso como para saber exactamente a qué tipo de corrección de sesgo se refiere, creo que puedo hablar de ello en términos generales. A veces un estimador puede estar sesgado. Esto significa simplemente que, aunque sea un buen estimador, su valor esperado o medio no es exactamente igual al parámetro. La diferencia entre la media del estimador y el verdadero valor del parámetro se denomina sesgo. Cuando se sabe que un estimador está sesgado, a veces es posible, por otros medios, estimar el sesgo y luego modificar el estimador restando el sesgo estimado de la estimación original. Este procedimiento se denomina corrección del sesgo. Se realiza con la intención de mejorar la estimación. Aunque reducirá el sesgo, también aumentará la varianza. Por lo tanto, para que sea útil, la mejora del sesgo debe ser grande en relación con la pérdida de la varianza.

Un buen ejemplo de corrección de sesgos con éxito son las estimaciones de corrección de sesgos bootstrap de la tasa de error de clasificación. La estimación de la tasa de error por sustitución tiene un gran sesgo optimista cuando el tamaño de la muestra es pequeño. El bootstrap se utiliza para estimar el sesgo de la estimación de la resustitución y, dado que la estimación de la resustitución subestima la tasa de error, la estimación del sesgo se añade a la estimación de la resustitución para obtener la estimación corregida del sesgo del bootstrap de la tasa de error. Cuando el tamaño de la muestra es pequeño 30 o menos combinando ambas clases en un problema de dos clases ciertas formas de la estimación bootstrap (particularmente la estimación 632) proporcionan estimaciones más precisas de las tasas de error que la validación cruzada leave-one-out (que es una estimación muy poco sesgada de la tasa de error).