Evitar el sobreajuste en la regresión: alternativas a la regularización

Question

La regularización en la regresión (lineal, logística...) es la forma más popular de reducir el sobreajuste.

Cuando el objetivo es la precisión de la predicción (no la explicación), ¿hay alguna buena alternativa a la regularización, especialmente adecuada para grandes conjuntos de datos (mi/millones de observaciones y millones de características)?

Answer 1

Dos alternativas a la regularización:

1. Tengo muchas, muchas observaciones
2. Utilizar un modelo más sencillo

Geoff Hinton (coinventor de la retropropagación) contó una vez la historia de unos ingenieros que le dijeron (parafraseando en gran medida): "Geoff, no necesitamos la caída en nuestras redes profundas porque tenemos muchos datos". Y su respuesta fue: "Bueno, entonces deberíais construir redes aún más profundas, hasta que son sobreajuste, y luego utilizar el abandono". Dejando a un lado los buenos consejos, aparentemente se puede evitar la regularización incluso con redes profundas, siempre y cuando haya suficientes datos.

Con un número fijo de observaciones, también se puede optar por un modelo más sencillo. Probablemente no necesite la regularización para estimar un intercepto, una pendiente y una varianza de error en una regresión lineal simple.

Answer 2

Dos puntos importantes que no están directamente relacionados con su pregunta:

• En primer lugar, aunque el objetivo sea la precisión en lugar de la interpretación, la regularización sigue siendo necesaria en muchos casos, ya que asegurará la "alta precisión" en el conjunto de datos de prueba / producción reales, no en los datos utilizados para el modelado.

• En segundo lugar, si hay mil millones de filas y millones de columnas, es posible que no se necesite ninguna regularización. Esto se debe a que los datos son enormes, y muchos modelos computacionales tienen una "potencia limitada", es decir, es casi imposible sobreajustar. Por eso algunas redes neuronales profundas tienen miles de millones de parámetros.

---

Ahora, sobre su pregunta. Como mencionan Ben y Andrey, hay algunas opciones como alternativas a la regularización. Me gustaría añadir más ejemplos.

• Utilizar un modelo más sencillo (por ejemplo, reducir el número de unidades ocultas en la red neuronal). Utilizar un kernel polinómico de orden inferior en la SVM. Reducir el número de gaussianos en la mezcla de gaussianos, etc.)

• Deténgase al principio de la optimización. (Por ejemplo, reducir la época en el entrenamiento de la red neuronal, reducir el número de iteraciones en la optimización (CG, BFGS, etc.)

• Promedio en muchos modelos (Por ejemplo, bosque aleatorio, etc.)

Answer 3

Algunas posibilidades adicionales para evitar el sobreajuste

• Reducción de la dimensionalidad

  Se puede utilizar un algoritmo como el análisis de componentes principales (PCA) para obtener un subespacio de características de menor dimensión. La idea de PCA es que la variación de su $m$ espacio dimensional de características puede aproximarse bien mediante un $l << m$ subespacio dimensional.

• Selección de características (también reducción de la dimensionalidad)

  Podría realizar una ronda de selección de características (por ejemplo, utilizando LASSO) para obtener un espacio de características de menor dimensión. Algo como la selección de características mediante LASSO puede ser útil si algún subconjunto grande pero desconocido de características es irrelevante.

• Utilizar algoritmos menos propensos al sobreajuste, como el bosque aleatorio. (Dependiendo de la configuración, el número de características, etc., estos pueden ser más costosos computacionalmente que los mínimos cuadrados ordinarios).

  Algunas de las otras respuestas también han mencionado las ventajas de las técnicas/algoritmos de boosting y bagging.

• Métodos bayesianos

  La adición de una prioridad en el vector de coeficientes puede reducir el exceso de ajuste. Esto está conceptualmente relacionado con la regularización: por ejemplo, la regresión de cresta es un caso especial de estimación máxima a posteriori.

Answer 4

Dos pensamientos:

1. Secundo la estrategia de "utilizar un modelo más sencillo" propuesta por Ben Ogorek .

   Trabajo en modelos de clasificación lineal muy dispersos con coeficientes enteros pequeños (por ejemplo, un máximo de 5 variables con coeficientes enteros entre -5 y 5). Los modelos se generalizan bien en términos de precisión y métricas de rendimiento más difíciles (por ejemplo, la calibración).

   Este método en este documento se escalará a tamaños de muestra grandes para la regresión logística, y puede extenderse para ajustar otros clasificadores lineales con funciones de pérdida convexas. No manejará los casos con muchas características (a menos que $n/d$ es lo suficientemente grande, en cuyo caso los datos son separables y el problema de clasificación resulta fácil).

2. Si puede especificar restricciones adicionales para su modelo (por ejemplo, restricciones de monotonicidad, información lateral), esto también puede ayudar a la generalización reduciendo el espacio de hipótesis (véase por ejemplo este documento ).

   Esto debe hacerse con cuidado (por ejemplo, probablemente querrá comparar su modelo con una línea de base sin restricciones, y diseñar su proceso de entrenamiento de manera que se asegure de que no está escogiendo restricciones).

Answer 5

Si se utiliza un modelo con un solucionador, en el que se puede definir el número de iteraciones/epocos, se puede realizar un seguimiento del error de validación y aplicar una parada temprana: detener el algoritmo, cuando el error de validación comienza a aumentar.