Estoy tratando de hacer sentido de lo que un modelo saturado. Que yo sepa es cuando usted tiene tantas características como de observaciones.
¿Podemos decir que un modelo saturado es un caso especial de un modelo extremadamente overfitted?
Respuesta
¿Demasiados anuncios?
@Tomka del derecho. Saturado el modelo se ajusta en mayor cantidad posible de parámetros para un determinado conjunto de predictores, pero si es más ajustado o no depende del número de observaciones para cada patrón único de predictores. Supongamos que tenemos un modelo lineal con 100 observaciones de $y$ $x=0$ y 100 $x=1$. A continuación, el modelo de $\operatorname{E}Y = \beta_0 +\beta_1 x$ es saturada, pero seguramente no más ajustado. Pero si usted tiene una observación de $y$ para cada uno de $x=(0,1,2,3,4)^\mathrm{T}$ el modelo de $\operatorname{E}Y = \beta_0 +\beta_1 x +\beta_2 x^2 +\beta_3 x^3 +\beta_4 x^4$ es saturada y un ajuste perfecto, sin duda, más ajustado†.
Cuando la gente habla sobre saturado de modelos de tener tantos parámetros como observaciones, como en la página web enlazada & CV post, están suponiendo un contexto de una observación para cada predictor patrón. (O tal vez a veces el uso de 'observación' de manera diferente—son 100 individuos en un 2×2 tabla de contingencia de 100 observaciones de individuos, o 4 observaciones de frecuencias de células?)
† No tomar el "sin duda" y "sin duda", literalmente, por el camino. Es posible para el primer modelo que $\beta_1$ es tan pequeña en comparación con $\operatorname{Var}Y$ usted predijo mejor sin tratar de estimar, y viceversa para el segundo.
