Modelos flexibles e inflexibles en el aprendizaje automático

Question

Me encontré con una pregunta sencilla sobre la comparación de modelos flexibles (por ejemplo, splines) frente a modelos inflexibles (por ejemplo, regresión lineal) en diferentes escenarios. La pregunta es:

En general, ¿esperamos que el rendimiento de un método de aprendizaje estadístico flexible sea mejor o peor que el de un método inflexible cuando:

1. El número de predictores $p$ es extremadamente grande, y el número de observaciones $n$ es pequeño?
2. La varianza de los términos de error, es decir $^2 = \text{Var}(e)$ ¿es extremadamente alta?

Creo que para (1), cuando $n$ es pequeño, los modelos inflexibles son mejores (no estoy seguro). Para (2), no sé qué modelo es (relativamente) mejor.

Answer 1

En estas 2 situaciones, el rendimiento comparativo modelo flexible vs inflexible también depende:

• es la verdadera relación y=f(x) cercana a la lineal o muy no lineal;
• ¿se puede ajustar/limitar el grado de flexibilidad del modelo "flexible" al ajustarlo?

Si la relación es cercana a la lineal y no se restringe la flexibilidad, entonces el modelo lineal debería dar un mejor error de prueba en ambos casos porque el modelo flexible probablemente sobreajuste en ambos casos.

Puedes verlo así:

• En ambos casos los datos no contienen suficiente información sobre la verdadera relación (en el primer caso la relación es muy dimensional y no tienes suficientes datos, en el segundo caso está corrompida por el ruido) pero
  • el modelo lineal aporta cierta información previa externa sobre la relación verdadera (restringe la clase de relaciones ajustadas a las lineales) y
  • que la información previa resulta ser correcta (la verdadera relación es cercana a la lineal).
• Mientras que el modelo flexible no contiene información previa (puede ajustarse a cualquier cosa), por lo que se ajusta al ruido.

Sin embargo, si la relación real es muy poco lineal, es difícil decir quién ganará (ambos perderán :)).

Si se ajusta/limita el grado de flexibilidad y se hace de forma correcta (por ejemplo, mediante validación cruzada), el modelo flexible debería ganar en todos los casos.

Answer 2

Por supuesto, depende de los datos subyacentes, que siempre hay que explorar para averiguar algunas de sus características antes de intentar ajustar un modelo, pero lo que he aprendido como reglas generales son:

• Un modelo flexible permite aprovechar al máximo un tamaño de muestra grande (n grande).
• Será necesario un modelo flexible para encontrar el efecto no lineal.
• Un modelo flexible hará que se ajuste demasiado al ruido del problema (cuando la varianza de los términos de error es alta).

Answer 3

Bueno, para la segunda parte, creo que un modelo más flexible tratará de ajustar el modelo con fuerza y los datos de entrenamiento contienen un alto ruido, por lo que el modelo flexible también tratará de aprender ese ruido y dará lugar a más error de prueba. Conozco el origen de esta pregunta ya que también estoy leyendo el mismo libro :)

Answer 4

Para la primera parte, yo esperaría que el modelo inflexible funcionara mejor con un número limitado de observaciones. Cuando n es muy pequeño, ambos modelos (ya sea flexible o inflexible) no darían una predicción suficientemente buena. Sin embargo, el modelo flexible tendería a sobreajustar los datos y tendría un rendimiento más pobre cuando se trata de un nuevo conjunto de pruebas.

Lo ideal sería recoger más observaciones para mejorar el ajuste, pero si no es el caso, entonces utilizaría el modelo inflexible, tratando de minimizar un error de prueba con un nuevo conjunto de pruebas.

Answer 5

Para cada una de las partes (a) a (d), indique si i. o ii. es correcta, y explique su respuesta. En general, ¿esperamos que el rendimiento de un método de aprendizaje estadístico flexible sea mejor o peor que el de un método inflexible cuando :

El tamaño de la muestra n es extremadamente grande, y el número de predictores p es pequeño?

Mejor. Un método flexible se ajustará más a los datos y con el gran tamaño de la muestra, se comportaría mejor que un método inflexible.

El número de predictores p es extremadamente grande, y el número de observaciones n es pequeño

Peor aún. Un método flexible se ajustaría en exceso al pequeño número de observaciones.

La relación entre los predictores y la respuesta es altamente no lineal ?

Mejor. Con más grados de libertad, un método flexible encajaría mejor que uno inflexible.

La varianza de los términos de error, es decir, 2=Var(), es extremadamente alta?

Peor. Un método flexible se ajustaría al ruido en los términos de error y aumentar la varianza.

Tomado de aquí .