¿La estimación de MLE debería estar siempre utilizando penalizadores?

Question

Me refiero a la familia de las técnicas de estimación como Emv, menos plazas, etc., que una l2 penalizer/regularizer puede ser añadido. No estoy interesado en la NHST, pero sólo de estimación (es decir, de algún efecto causal o asociación).

La manera en que yo veo es que la adición de un penalizer plazo no causar un sesgo (aunque Emv son a menudo ya parcial...), pero hay más ganancias:

1. el estimador es todavía consistente,
2. el estimador tiene menor varianza,
3. el estimador puede tratar con el co-linealidad y problemas de separación,
4. permite una cierta expresión de antes de conocimientos1

Por supuesto, la adición de demasiado grande de un penalizer significativamente el sesgo de los resultados, pero un profesional debe saber un razonable valor (y probablemente decidido de antemano).

Lo que me estoy perdiendo? ¿Por qué debería no siempre se agrega un pequeño penalizer a mi MLE modelos? Son mis intervalos de confianza (realmente no puedo llamar intervalos de confianza más...) drásticamente roto si añado un penalizer?

1 Sin ir completo Bayesiano, la adición de una pequeña penalizer dice el modelo de "yeaaaa, 1e18 no es un valor probable".

Answer 1

Yo personalmente soy un gran fan de la regularización. Aquí hay un par de argumentos en su contra:

1. Es más complicado. Hay una razón por la que podemos enseñar a OLS y sólo después de regularización. Incluso la justificación para ello, el sesgo de la varianza en la disyuntiva, es muy intuitivo para no estadísticos.

   Tenga en cuenta que "más complicado" tiene tres consecuencias: significa que el modelo es más difícil de configurar, más difícil de ejecutar (estoy de acuerdo con jbowman que regularizers no son en absoluto triviales para configurar), y más difícil de mantener. Mantenimiento de los asuntos a veces. Por ejemplo, yo estoy involucrado con la construcción de una gran solución de software que ha sido y será ampliado a lo largo de los años y se ejecutará durante años o décadas. Cada nueva funcionalidad tiene que atar a la funcionalidad existente, y dadas las interconexiones, el mantenimiento de la complejidad aumenta superlinearly.

2. Aumenta el tiempo de ejecución, especialmente si usted necesita una validación cruzada para calibrar su regularización. Por ejemplo, nuestro software se ejecuta en millones de los modelos de cada día. El rendimiento es importante, porque incluso si usted puede paralelizar, núcleos adicionales vienen con un costo. (Y por cierto, sí, que hacen uso de regularización.)

Al final, todo se reduce a una cuestión de equilibrio. A veces, los beneficios valen la pena de la cuesta, a veces no lo son. Todo depende de su problema real.