Variables latentes de parámetros vs

Question

Me han preguntado acerca de esto antes, y realmente han estado luchando con la identificación de lo que hace un modelo de parámetro y lo que hace es una variable latente. Así que mirando varios hilos sobre este tema en este sitio, la principal diferencia parece ser:

Variables latentes no son observados, pero tienen asociada una distribución de probabilidad con ellos, ya que son las variables y los parámetros no son observados y no tienen distribución asociados con ellos, que yo entiendo como que estos son constantes y tienen una fija, pero se desconoce el valor que estamos tratando de encontrar. También, podemos poner los priores de los parámetros para representar a nuestra incertidumbre acerca de estos parámetros, aunque sólo hay un verdadero valor asociado con ellos o al menos eso es lo que suponemos. Espero que estoy en lo correcto?

Ahora, he estado buscando en este ejemplo para Bayesiano ponderado de regresión lineal a partir de un diario de papel y ha sido realmente luchando para entender lo que es un parámetro y, lo que es una variable:

$$ y_i = \beta^T x_i + \epsilon_{y_i} $$

Aquí $x$ $y$ son observados, pero sólo $y$ es tratada como una variable, es decir, tiene una distribución asociada.

Ahora, los supuestos utilizados en la modelización son:

$$ y \sim N(\beta^Tx_i, \sigma^2/w_i) $$

Así, la varianza de las $y$ es ponderado.

También hay un antes de la distribución en $\beta$$w$, que son normales y distribuciones gamma, respectivamente.

Así, el registro completo de probabilidad está dada por:

$$ \log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i) $$

Ahora, como yo entiendo que tanto $\beta$ $w$ son parámetros del modelo. Sin embargo, en el papel que mantener refiriéndose a ellos como variables latentes. Mi razonamiento es $\beta$ $w$ son parte de la distribución de probabilidad de la variable $y$ e son los parámetros del modelo. Sin embargo, los autores tratan como latente de variables aleatorias. Es eso correcto? Si es así, ¿cuáles serían los parámetros del modelo?

El papel se puede encontrar aquí (http://www.jting.net/pubs/2007/ting-ICRA2007.pdf).

El papel es Automática la Detección de valores Atípicos: Un Enfoque Bayesiano por Ting et al.

Answer 1

En el papel, y en general, (al azar) variables son todo lo que se extrae de una distribución de probabilidad. Latente (al azar) variables son las que no observar directamente ( $y$ , $\beta$ no es, pero ambos son r.v). A partir de una latente variable aleatoria puede obtener una distribución posterior, que es su distribución de probabilidad condicionada a los datos observados.

Por otro lado, un parámetro es fijo, incluso si usted no sabe su valor. Estimación de máxima Verosimilitud, por ejemplo, le da el valor más probable de su parámetro. Pero le da un punto, no una distribución completa, porque fija las cosas no tienen distribuciones! (Usted puede poner una distribución sobre cómo asegurarse de que están alrededor de este valor, o en qué rango de cosa que este valor es, pero esto no es la misma que la distribución del valor en sí mismo, que sólo existe si el valor es en realidad una variable aleatoria)

En un Bayesiano de configuración, usted puede tener todo de ellos. Aquí, los parámetros son cosas como el número de clusters; le da este valor para el modelo, y el modelo considera que es un número fijo. $y$ es una variable aleatoria ya que se extrae de una distribución, y $\beta$ $w$ son latentes variables aleatorias debido a que son extraídas de las distribuciones de probabilidad así. El hecho de que $y$ depende de $\beta$ $w$ no los convierte en "parámetros", sólo hace $y$ depende de dos variables aleatorias.

En el papel que ellos consideran que $\beta$ $w$ son variables aleatorias.

Incluso si esta frase:

Estos actualización de ecuaciones se deben ejecutar de forma iterativa hasta que todos los parámetros y el log completo probabilidad convergen a los valores de la constante de

cuando se habla de Expectación-Maximización es simplemente un abuso del lenguaje por el hecho de que la EM no se preocupa de estas cosas, parámetros o variables aleatorias.