Puede alguien darme los detalles completos acerca de lo que entendemos por hyperparameters, y lo que en la distribución Dirichlet son llamados hyperparameters? Un ejemplo de práctica para la estimación de los parámetros también sería útil.
Esta pregunta ya tiene respuestas:
Respuesta
¿Demasiados anuncios?
John Richardson
Puntos
1197
Sospecho que lo que se entiende por hyper-parámetro depende del contexto, pero aquí va:
Yo diría que los parámetros de un modelo son las que están directamente ajustada a los datos, y el hiper-los parámetros son los parámetros que están establecidos por el usuario o que están indirectamente ajustada a los datos. Por ejemplo, en la cresta de la regresión, los parámetros son los coeficientes de regresión y la cresta parámetro es el hyper-parámetro. En este caso, los parámetros de regresión se determinó mediante la minimización de la negativa de la log-verosimilitud con un penatly plazo, normalmente a través de las ecuaciones normales
$\vec{\beta} = [\matrix{X}\matrix{X}^T + \lambda\matrix{I}]^{-1}\matrix{X}^T\vec{y}$
mientras que la cresta parámetro, $\lambda$, es fijado por el usuario (tal vez sólo para asegurar la matriz es invertible) o puede ser sintonizado por la minimización de la cruz-error de validación, o generalizada de validación cruzada. En ese caso, $\lambda$ está sintonizado con los datos, pero sólo de manera indirecta.
A veces no hay una verdadera estadística distinción entre los parámetros y la hiper-parámetro, aparte de que hay un computacionalmente eficiente para determinar los valores de un conjunto de parámetros dado el valor de los demás, y el primer set se llama "parámetros" y el segundo conjunto se llama el "hyper-parámetros", pero en realidad es sólo una cuestión de conveniencia.
No creo que una distribución Dirichlet tiene hyper-parámetros como tal, pero si una distribución Dirichlet se usa como antes en un análisis Bayesiano, a continuación, los parámetros de la distribución Dirichlet convertido en el hyper-parámetros del modelo. Es de los parámetros del modelo que se determina directamente a partir de los datos de un determinado antes de Dirichlet (y el hiper-parámetros indirectamente atentos a los datos, por ejemplo, mediante la maximización de la evidencia para el modelo).
