6 votos

Escasa parámetros en el cómputo de la AIC, BIC, etc

Estoy diseñando a gran escala, la regularización de los modelos de regresión logística con un montón de escasa, binarized características. por ejemplo, isUS, isFR, etc. Como resultado, muchos de los pesos en el modelo son iguales a cero.

Me pregunto cómo debo calcular el "número de parámetros" en el modelo de selección de criterios como la AIC, BIC, etc. Debo de sólo contar el número de no-cero pesos o todos de los pesos?

por ejemplo, Si hay 10 países posibles, pero sólo 6 tienen distinto de cero pesos, es el número de parámetros de 6 o 10?

7voto

user27493 Puntos 16

Grados de libertad no depende del resultado solos, sino que en el procedimiento de ajuste. Si es de máxima verosimilitud, todos los parámetros de recuento.

Hay un caso interesante donde el cero pesos no cuentan, y que el lazo: H Zou, T Hastie, R Tibshirani En los "grados de libertad" del lazo. Los Anales de Estadística, 2007

6voto

Nathan Long Puntos 30303

Esta es una pregunta muy difícil de contestar sin un conocimiento preciso de la adaptación del algoritmo, tampoco es claro que existe una razonable definición de "número de parámetros" que justifique la AIC, BIC o de otros "criterios de información" en general.

Si se hace una estimación $\ell_1$-penalizado la estimación de máxima verosimilitud, entonces puedo parcialmente recorrer la respuesta por user27493. En este caso, el número estimado de no-cero de los parámetros es una buena sustituto para el número total de parámetros en el AIC. Nota, sin embargo, que la Zou et al. el papel es de menos de cuadrados de la regresión con un $\ell_1$a la pena de $-$ no regresión logística. Véase, por ejemplo, el Diferencial geométricas menos ángulo de regresión: un diferencial de enfoque geométrico a escasos modelos lineales generalizados por L. Augugliaro et al. para los resultados relacionados con los modelos lineales generalizados.

BIC es diferente, y no sé resultados en esta dirección.

El papel con el título pegadizo Grados Efectivos de Libertad: Un Deficiente Metáfora, publicado recientemente en el archivo de Lucas Janson, William Fithian, y Trevor Hastie, muestra que, en función de los datos de generación de mecanismo, los grados efectivos de libertad ("número de parámetros") puede exceder el número total de parámetros, e incluso puede ser ilimitado.

En este artículo (shameless self promoción de mi investigación) Grados de libertad para no lineal de mínimos cuadrados estimación con mi coautor de Alejandro Sokol, nos muestran que para no lineal de mínimos cuadrados en la estimación de los grados efectivos de libertad por lo general contiene una difícil estimar término que depende de los datos de generación de modelo. Esto es también lo que aparece en algunos de los ejemplos en la Janson et al. documento mencionado anteriormente. En un asintótica escenario, si el modelo está cerca de ser verdad y/o si el modelo no "curva demasiado", y si usas $\ell_1$-penalizado menos plazas de estimación, un sustituto útil estimación de los grados efectivos de libertad es todavía el número estimado de no-cero de los parámetros. Sin embargo, una vez que usted se mueve fuera de un poco de la norma y que más bien se comportó de modelos, cualquier cosa podría suceder.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X