Pregunta sobre el uso de la regularización en la estadística aplicada/ciencia

Question

Estaba leyendo el periódico "Una prueba de significación para el lazo por Lockhart, Tibshirani y otros y estaba considerando la cuestión de la aplicación de la regularización en las ciencias aplicadas (por ejemplo, las ciencias del comportamiento).

¿Cuándo consideran los estadísticos que es aceptable aplicar métodos de regularización como LASSO para reducir los coeficientes? Parece que aquí hay un choque entre la conveniencia estadística y la teoría científica externa. ¿O se utiliza la regularización sólo cuando se ajusta al conocimiento a priori de lo que queremos modelar?

Soy consciente de que esta respuesta puede variar entre los estadísticos y espero que la pregunta no sea demasiado blanda/vaga. Se agradece cualquier idea al respecto.

Answer 1

Si hace alguna prueba de significación (y elimina los parámetros no significativos de su modelo final), está sesgando sus parámetros no nulos para alejarlos de cero. De hecho, este problema afecta a la selección de modelos de varios tipos.

Una forma de evitar este sesgo de cero es regularizar por contracción.

Todavía hay otras razones por las que uno podría hacerlo, pero esa es una buena.

Answer 2

La regularización no es más que otra forma de estimar parámetros. En los mínimos cuadrados ordinarios, obtenemos nuestro vector de parámetros mediante $\hat\beta_{ols}=(X^TX)^{-1}X^Ty$ . En la regresión ridge, modificamos la estimación.

$$ \hat\beta_{ridge}=(X^TX+\lambda I)^{-1}X^Ty $$

Cualquiera de los dos enfoques proporciona una estimación de la verdadera cantidad de interés, $\beta$ .

En la regresión LASSO, no existe una solución de forma cerrada, pero sigue siendo otra forma de estimar $\beta$ .

Cuando los métodos regularizados dan resultados deseables, como una mayor precisión predictiva, podemos defender tal elección del estimador de $\beta$ . Sí, la regularización da estimaciones sesgadas de los parámetros, pero no es como si $\hat\beta_{ols}=\beta$ . Sabemos que nuestra estimación de $\beta$ está mal. Sin embargo, si conseguimos un modelo que funcione mejor, entonces quizá estemos menos equivocados.