Encuentra la máxima probabilidad dada la función de probabilidad de Rayleigh

Question

Problema

---

Supongamos que utilizamos una Gaussiana PDF para expresar la probabilidad de que la intensidad de la luz frecuente en Claro, Nublado, y Eclipse tiempo. La probabilidad de que una cierta cantidad de luz valor (positivo o negativo) dado el tiempo está dada por la función de probabilidad de Rayleigh.

$$ P(light | w) = \frac{light}{\sigma_w^2}e^{\frac{-light^2}{2\sigma_w^2}}$$

definido no negativos valores de luz, donde $w$ denota el clima de la clase $ \in \{Clear, Cloudy, Eclipse\}$ e $light$ denota la intensidad de la luz nivel (entero).

Tenemos 200 arbitrarias medidas de luz etiquetados $light_1$, $light_2$, ..., $light_{200}$ , mientras que un eclipse que está ocurriendo.

1. Se derivan de la estimación de máxima verosimilitud para $\sigma_{eclipse}$.
2. Dada la anterior función de probabilidad, $P(\sigma)=2e^{-2\sigma}$, derivar el máximo de la posterior estimación de $\sigma_{eclipse}$.

Suponga $ \sigma_w $, la desviación estándar de tiempo, $ = 3 $.

Intento

---

1. Tomando la ecuación de $ P(light_1, light_2, ..., light_{200} | \theta) = \prod_i{P(light_i|\sigma_w)}$, comencé a enchufar para la arbitrariedad de la intensidad de la luz de la siguiente manera.

   $ \prod_i{P(light_i|\sigma_w)} = (\frac{light_1}{\sigma_w^2}e^{\frac{-(light_1)^2}{2\sigma_w^2}}) (\frac{light_2}{\sigma_w^2}e^{\frac{-(light_2)^2}{2\sigma_w^2}}) (\frac{light_3}{\sigma_w^2}e^{\frac{-(light_3)^2}{2\sigma_w^2}})...$ $ \prod_i{P(light_i|\sigma_w)} = \frac{1}{\sigma_w^2}(light_1e^{\frac{-(light_1)^2}{2\sigma_w^2}}) (light_2e^{\frac{-(light_2)^2}{2\sigma_w^2}}) (light_3e^{\frac{-(light_3)^2}{2\sigma_w^2}})...$

   Conectar el conocido valor de $ \sigma_w = 3 $, $ \prod_i{P(light_i|3)} = \frac{1}{9}(light_1e^{\frac{-(light_1)^2}{18}}) (light_2e^{\frac{-(light_2)^2}{18}}) (light_3e^{\frac{-(light_3)^2}{18}})...$

   $ \prod_i{P(light_i|3)} = \frac{1}{9}\prod_i{light_ie^{\frac{-(light_i)^2}{18}}}$

   No sé cómo avanzar a partir de aquí.

2. Después de encontrar el máximo de probabilidad de la estimación de (1), supongo que encontrar el máximo de la posterior estimación requiere simplemente multiplicando el MLE valor de las probabilidades previas, que puede ser fácilmente obtenida a partir de la ecuación anterior.

Notas

---

Aquí, mi pregunta es cómo proceder con la parte (1). Tomando actualmente un posgrado a nivel de ML curso sin la exposición de grado de probabilidad, por lo que cualquier ayuda sería muy apreciada. Gracias!

Answer 1

Dado que este es un auto-estudio de la cuestión, voy a ofrecer sólo el consejo general, sin que muestra cómo encontrar el MLE de la distribución de Rayleigh. Encontrar Emv implica, esencialmente, tres pasos importantes:

1. Definir todas las variables observables y los parámetros de una manera clara y coherente, sin ambigüedades, y parsimonioso de notación. No use diferentes nombres y símbolos para referirse a una sola variable o parámetro, y no cambiar entre diferentes formas de notación en diferentes estados de cuenta;

2. Una vez que la notación es claramente definidos, escribir la densidad de muestreo y la correspondiente probabilidad función de (y posiblemente también la función de verosimilitud logarítmica) en su forma más simple posible el uso de sus notación;

3. Maximizar este uso de la función con respecto a sus parámetros utilizando el estándar de cálculo de las técnicas (o discreta técnicas de optimización discreta parámetros). Para el caso de los IID de datos, la probabilidad de la función es un producto de muestreo de densidades, por lo que es más fácil para maximizar la función de verosimilitud logarítmica (que es una suma de registro de densidades). Esto implica generalmente los métodos estándar de encontrar la primera y la segunda derivados, y la comprobación adecuada de puntos críticos/puntos de límite de la función.

Es importante no underemphasise la importancia de los Pasos 1-2 - - - - - si usted no tiene éxito en la definición clara y sin ambigüedades, la notación y, a continuación, la simplificación de la función de probabilidad en una forma compacta, esto hará que la optimización de paso aparecen mucho más difícil.

---

En el presente caso, no han tenido éxito en los Pasos 1 y 2, por lo que, naturalmente, usted está teniendo problemas con el Paso 3. Usted necesidad de volver atrás y revisar su nota claramente y, a continuación, a simplificar su función de probabilidad. Es un verdadero lío en el momento, y hasta que limpiar el desorden y el estado el problema de una manera mucho más clara, la optimización de paso será un camino muy largo. Aquí hay algunos consejos más específicos para el progreso de su problema.

Limpiar la notación para las variables: tiene varias maneras diferentes que se refieren a la misma variable, a veces usar todo un nombre textual, a veces el uso de la carta de la notación, y a veces el cambio a letras diferentes, o volver a la descripción textual. Por ejemplo, la inicial de la densidad de muestreo se indica condicional en una variable llamada $weather$ que no aparece en la densidad, sino que hace referencia a una variable no definida $\sigma_w$ en que el muestreo inicial de la densidad. Luego se refiere a un parámetro de $\sigma_{eclipse}$, que no aparece en la densidad de muestreo. También puedes utilizar la totalidad textual nombres de las variables (pero también hacerlo de forma incoherente) en lugar de utilizar parsimonioso letras para denotar ellos. (Esta es, esencialmente, una regresión de la moderna álgebra de regreso al estado de las matemáticas en la edad media!)

Si usted no está seguro de cómo hacer esto, eche un vistazo a algunos trabajado soluciones de MLE problemas en otros casos, y prestar atención a cómo la notación para el problema. Lo normal que hacer es definir una secuencia de valores observables $x_1,x_2,x_3, ... \sim \text{IID Dist}(\mu, \theta,\sigma,...)$ basado en una distribución con algunos parámetros desconocidos $\mu, \theta,\sigma,...$. Usted necesita notación para los valores observables y la notación de los parámetros. Y para ser claro: necesitas una única notación consistente para cada uno de estos. Debe ser posible para que su lector para decir lo que cada uno de los símbolos significan.

Simplificar la función de probabilidad: una Vez que haya limpiado su notación, se necesita simplificar su probabilidad función de su forma más simple. Sus datos son IID, por lo que su probabilidad es un producto de similares términos. Usted debe ser capaz de recoger como los términos y las reglas de uso de los productos de exponenciales, etc., para simplificar esta función reduce a una mucho más simple expresión. Recuerde que cuando se trata de una función de probabilidad, los datos se tratan como fijo y sólo nos preocupa acerca de los parámetros, por lo que cualquier multiplicativo términos que no dependen de los parámetros puede ser eliminado completamente. (Para ello, aprender a trabajar con la proporcionalidad de las declaraciones de uso de la $\propto$ relación.)

Como con su subyacente de la notación de las variables, también debe asegurarse de que utilizar la notación estándar para su función de probabilidad. Si usted no sabe lo que esto parece, echar un vistazo a otras trabajado soluciones para MLE problemas para ver la notación estándar. Una vez que han simplificado su función de probabilidad a un simple formulario, utilizando la notación, usted estará en una posición para iniciar la optimización de paso.