Estimadores de máxima verosimilitud para una distribución truncada

Question

Considere $N$ muestras independientes $S$ obtenida a partir de una variable aleatoria $X$ que se supone que sigue una distribución truncada (por ejemplo, a distribución normal truncada ) de valores mínimos y máximos conocidos (finitos) $a$ et $b$ pero de parámetros desconocidos $\mu$ et $\sigma^2$ . Si $X$ sigue una distribución no truncada, los estimadores de máxima verosimilitud $\widehat\mu$ et $\widehat\sigma^2$ para $\mu$ et $\sigma^2$ de $S$ sería la media de la muestra $\widehat\mu = \frac{1}{N} \sum_i S_i$ y la varianza de la muestra $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ . Sin embargo, para una distribución truncada, la varianza de la muestra definida de esta manera está limitada por $(b-a)^2$ por lo que no siempre es un estimador consistente: para $\sigma^2 > (b-a)^2$ no puede converger en probabilidad a $\sigma^2$ como $N$ llega al infinito. Así que parece que $\widehat\mu$ et $\widehat\sigma^2$ no son los estimadores de máxima verosimilitud de $\mu$ et $\sigma^2$ para una distribución truncada. Por supuesto, esto es de esperar ya que el $\mu$ et $\sigma^2$ Los parámetros de una distribución normal truncada no son su media y su varianza.

Entonces, ¿cuáles son los estimadores de máxima verosimilitud del $\mu$ et $\sigma$ parámetros de una distribución truncada de valores mínimos y máximos conocidos?

Answer 1

Considere cualquier familia a escala de localización determinada por una distribución "estándar" $F$ ,

$$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$$

Suponiendo que $F$ diferenciable encontramos fácilmente que las PDFs son $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$ .

Truncando estas distribuciones para restringir su soporte entre $a$ et $b$ , $a \lt b$ significa que los PDF se sustituyen por

$$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$$

(y son cero para todos los demás valores de $x$ ) donde $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ es el factor de normalización necesario para garantizar que $f_{(\mu, \sigma; a, b)}$ se integra a la unidad. (Nótese que $C$ es idéntico $1$ en ausencia de truncamiento). La probabilidad logarítmica para datos iid $x_i$ por lo tanto es

$$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$$

Los puntos críticos (incluyendo cualquier mínimo global) se encuentran donde $\sigma=0$ (un caso especial que ignoro aquí) o el gradiente desaparece. Utilizando subíndices para denotar las derivadas, podemos calcular formalmente el gradiente y escribir las ecuaciones de verosimilitud como

$$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$$

Porque $a$ et $b$ son fijos, elimínelos de la notación y escriba $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ como $A(\mu,\sigma)$ et $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ como $B(\mu, \sigma)$ . (Sin truncamiento, ambas funciones serían idénticas a cero.) Separando los términos que implican los datos del resto se obtiene

$$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$$

Si se comparan con la situación sin truncamiento, es evidente que

• Cualquier estadística suficiente para el problema original es suficiente para el problema truncado (porque los lados derechos no han cambiado).

• Nuestra capacidad para encontrar soluciones de forma cerrada se basa en la trazabilidad de $A$ et $B$ . Si no se trata de $\mu$ et $\sigma$ de forma sencilla, no podemos esperar obtener soluciones de forma cerrada en general.

Para el caso de una familia normal, $C(\mu,\sigma,a,b)$ por supuesto está dada por la PDF normal acumulativa, que es una diferencia de funciones de error: no hay posibilidad de obtener una solución de forma cerrada en general. Sin embargo, sólo hay dos estadísticos suficientes (la media y la varianza de la muestra) y la FCD es lo más suave posible, por lo que las soluciones numéricas serán relativamente fáciles de obtener.