¿Cómo puedo saber si un modelo con un subconjunto de características de otro modelo tiene el error de entrenamiento/prueba más bajo?

Question

Estoy haciendo la especialización en Machine Learning de la Universidad de Washington en Coursera, y tengo que responder a unas preguntas de un cuestionario del curso de Regresión.

Preguntan qué modelo tendría el menor formación error si las características del modelo 1 son un subconjunto estricto de las del modelo 2.

¿Cómo puedo comprobarlo?

Desde mi punto de vista, esta información no es suficiente para decir qué modelo tiene el menor error de entrenamiento, porque creo que el error de entrenamiento no depende del número de características, sino del número de observaciones.

¿Me equivoco?

Answer 1

Recordemos que en ambos casos se trata de resolver un problema de optimización. Es decir, tenemos una función de pérdida (por ejemplo $L^2$ o $L^1$ norma) y se desea encontrar el valor del vector de parámetros que minimice la pérdida. Por lo tanto, el problema tiene dos componentes: una función de pérdida (o función objetivo) y una función de pérdida (o función objetivo). espacio de parámetros (esta es la parte clave para ti).

Sus dos modelos (Modelo 1 y Modelo 2) están relacionados, por supuesto: comparten la misma función de pérdida, y el espacio de parámetros para el Modelo 1 es un subconjunto del espacio de parámetros del Modelo 2.

¿Puedes seguir desde aquí?