Significado de "número de parámetros" en AIC

Question

Al calcular el AIC,

$AIC = 2k - 2 ln L$

k significa "número de parámetros". Pero, ¿qué cuenta como parámetro? Así, por ejemplo, en el modelo

$y = ax + b$

¿Se cuentan siempre a y b como parámetros? ¿Y si no me importa el valor del intercepto, puedo ignorarlo o sigue contando?

¿Y si

$y = a f(c,x) + b$

donde $f$ es una función de c y x, ¿cuento ahora 3 parámetros?

Answer 1

Para cualquier modelo estadístico, el valor AIC es $\mathit{AIC} = 2k - 2\ln(L)$ donde k es el número de parámetros del modelo y L es el valor maximizado de la función de verosimilitud del modelo.

(véase aquí )

Como puede ver, $k$ representa el número de parámetros estimado en cada modelo. Si el modelo incluye un intercepto (es decir, si se calcula una estimación puntual, una varianza y un intervalo de confianza para el intercepto), entonces cuenta como un parámetro. En cambio, si calcula un modelo sin intercepción, no cuenta.

Recuerde que el AIC no sólo resume la bondad del ajuste, sino que también tiene en cuenta la complejidad del modelo. Por eso $k$ para penalizar los modelos con más parámetros.

No me siento con conocimientos suficientes para responder a tu segunda pregunta, la dejaré para otro miembro de la comunidad.

Answer 2

Como mencionó mugen, $k$ representa el número de parámetros estimado . En otras palabras, es el número de cantidades adicionales que hay que conocer para especificar completamente el modelo. En el modelo de regresión lineal simple $$y=ax+b$$ puede estimar $a$ , $b$ o ambos. Cualquier cantidad que no estimes debes fijarla. No se puede "ignorar" un parámetro en el sentido de no conocerlo y no preocuparse por él. El modelo más habitual que no estima ambos parámetros es el siguiente $a$ y $b$ es el modelo sin intercepción, en el que fijamos $b=0$ . Esto tendrá 1 parámetro. Usted podría fijar tan fácilmente $a=2$ o $b=1$ si tienes alguna razón para creer que refleja la realidad. (Buen punto: $\sigma$ también es un parámetro en una regresión lineal simple, pero como está presente en todos los modelos, se puede suprimir sin que afecte a las comparaciones de AIC).

Si su modelo es $$y=af(c,x)+b$$ el número de parámetros depende de si se fija alguno de estos valores, y de la forma de $f$ . Por ejemplo, si queremos estimar $a, b, c$ y saber que $f(c,x)=x^c$ entonces cuando escribimos el modelo tenemos $$y=ax^c+b$$ con tres parámetros desconocidos. Si, sin embargo, $f(c,x)=cx$ entonces tenemos el modelo $$y=acx+b$$ que en realidad sólo tiene dos parámetros: $ac$ y $b$ .

Es fundamental que $f(c,x)$ es un familia de funciones indexadas por $c$ . Si todo lo que sabes es que $f(c,x)$ es continua y depende de $c$ y $x$ entonces no tienes suerte porque hay incontables funciones continuas.

Answer 3

En primer lugar, para quienes no estén familiarizados con el AIC: el Criterio de Información de Akaike (AIC) es una métrica sencilla diseñada para comparar la "bondad" de los modelos.

Según el AIC, cuando se trata de elegir entre dos modelos diferentes que se aplican a la mismas variables de entrada y de respuesta es decir, modelos diseñados para resolver el mismo problema, el modelo con el AIC más bajo se considera "mejor".

En la fórmula AIC, $k$ se refiere al número de variables (características de entrada, o columnas) en el modelo. Cuanto más complejo sea el modelo (se necesitan más variables para obtener la estimación o predicción), mayor será el AIC. Esto garantiza que entre dos modelos con el mismo poder predictivo o precisión, gane el modelo más simple. Es una forma de la navaja de Occam.

Así que la respuesta sencilla a la última pregunta es: si el c en $f(c, x)$ es un constante que no cambia con las observaciones, entonces, debería no incluirse en $k$ .