EM estimación de máxima verosimilitud para la distribución de Weibull

Question

Nota: estoy publicando una pregunta de un ex alumno mío incapaz de publicar en su propio por razones técnicas.

Dado un alcoholímetro de la muestra $x_1,\ldots,x_n$ a partir de una distribución de Weibull con pdf $$ f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 $$ hay un útil de la falta de representación de la variable $$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$$and hence an associated EM (expectation-maximisation) algorithm that could be used to find the MLE of $k$, en lugar de utilizar sencilla numéricos de optimización?

Answer 1

La de Weibull MLE es sólo numéricamente solucionable:

Vamos $$ f_{\lambda\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{casos} $$ con $\beta,\,\lambda>0$.

1) Likelihoodfunction: $$ \mathcal{L}_{\hat{x}}(\lambda \beta) =\prod_{i=1}^N f_{\lambda\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1} $$

registro-Likelihoodfunction: $$ \ell_{\hat{x}}(\lambda \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda \beta)=N\ln \beta-N\beta\ln \lambda\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i $$

2) MLE-Problema: \begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{ecuación*} 3) la Maximización de por $0$-gradientes: \begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*} De la siguiente manera: \begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*} $$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$$

Conectar $\lambda^*$ en el segundo 0-gradiente de la condición:

\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}

Esta ecuación es sólo numéricamente solucionable, por ejemplo, Newton-Raphson algoritmo. $\hat{\beta}^*$ puede ser colocado en $\lambda^*$ para completar el estimador ML para la distribución de Weibull.

Answer 2

En este caso, el MLE y EM estimadores son equivalentes, ya que el MLE estimador es en realidad un caso especial de la EM estimador. (Estoy asumiendo un frecuentista marco en mi respuesta; esto no es cierto para la EM en un Bayesiano contexto en el que estamos hablando del MAPA). Ya que no hay datos que faltan (sólo un parámetro desconocido), el E paso simplemente devuelve el registro de probabilidad, independientemente de su elección de $k^{(t)}$. El M de paso, a continuación, maximiza el registro de probabilidad, dando lugar a la MLE.

EM sería aplicable, por ejemplo, si usted tenía los datos observados a partir de una mezcla de dos distribuciones de Weibull con parámetros de $k_1$$k_2$, pero no sabía de cuál de estas dos distribuciones de cada observación de vino.