Estimador de máxima verosimilitud del parámetro de la función exponencial basado en la estadística de orden

Question

La siguiente pregunta es parte (1/4) de un examen escrito de 2,30h para la asignatura "Probabilidad y Estadística" en una escuela de ingeniería. Por lo tanto, aunque sea complicada y difícil (porque el profesor es realmente exigente con sus alumnos), debería poder resolverse en un tiempo lógico y con una cantidad lógica de cálculos.

Dejemos que $X_1, \ldots, X_n$ sea una muestra aleatoria (i.i.d. r.v.) de la distribución exponencial $\exp(\lambda)$ , donde $\lambda$ es desconocido. Dejemos que $M_n=\max\{X_1, \ldots, X_n\}$ con función de distribución de probabilidad $$G(x)=(1-e^{-\lambda x})^{n}, \qquad x>0$$ y cero en el resto.

Q1. Encuentre la función de densidad de probabilidad de $M_n$ .

Q2. Si $M_n$ es la única información que tiene para $X_1,X_2,\ldots,X_n$ , encontrar el estimador de máxima verosimilitud (MLE) $\hat{\lambda}_n$ de $\lambda$ .

Q3. Utilizando $(1+x)^n>1+nx$ (o de cualquier otra forma) demuestran que $\hat{\lambda}_n$ es consistente, es decir, que $P(| \hat{\lambda}_n-\lambda|>\epsilon)\longrightarrow0$ , para $n\rightarrow \infty$

Para el Q1, tomé la derivada de la cdf de $M_n$ que me pareció igual a $$g(x)=n\lambda e^{-\lambda x}(1-e^{-\lambda x})^{n-1}$$ (doblemente comprobado con Wolfram|Alpha).

Para la Q2, pensé que la función que debía maximizar (con respecto a $\lambda$ ) es $g(x)$ porque esa es mi única observación de la muestra de tamaño $n$ . Si entiendo bien el ejercicio alguien toma una muestra de $n$ observaciones $X_1,X_2,\ldots X_n$ y me dice sólo su máximo $M_n$ . Ahora, a partir de esta única información tengo que calcular una MLE para $\lambda$ . Así, maximizaré el pdf de $M_n$ que es conocer mi función de probabilidad, ¿no? ¿Es mi error aquí?

Sin embargo, si tomara como $$L(x;\lambda)=g(x)$$ y $$l(x;\lambda)=\ln\left(L(x;\lambda)\right)=\ln\left(g(x)\right)=\ln(n)+\ln(\lambda)-\lambda x+(n-1)\ln(1-e^{-\lambda x})$$ Luego, como es habitual, calculé la derivada de $l(x;\lambda)$ y lo hace igual a $0$ $$\frac{d}{d\lambda}l(x;\lambda)=\frac{1}{\lambda}-x+(n-1)\frac{xe^{-\lambda x}}{1-e^{-\lambda x}}=0$$ que se reduce a $$e^t=\frac{1-nt}{1-t}$$ donde $t=\lambda x$ . Pero no puedo resolver esta ecuación (llamada trascendental como alguien me dijo).

Answer 1

Ya que eres tutor, cualquier conocimiento es siempre por una buena causa. Así que voy a proporcionar algunos límites para la MLE.

Hemos llegado a

$$(1-\lambda x_{(n)})e^{\lambda x_{(n)} } + \lambda n x_{(n)} - 1 = 0$$ con $x_{(n)}\equiv M_n$ . Así que

$$(1-\hat \lambda x_{(n)})e^{\hat \lambda x_{(n)}} = 1-\hat \lambda x_{(n)}n$$ Supongamos primero que $1-\hat \lambda x_{(n)} >0$ . Entonces también debemos tener $1-\hat \lambda x_{(n)}n>0$ ya que el exponencial es siempre positivo. Además, como $x_{(n)}, \hat \lambda > 0\Rightarrow e^{\hat \lambda x_{(n)}}>1$ . Por lo tanto, deberíamos tener

$$\frac {1-\hat \lambda x_{(n)}n}{1-\hat \lambda x_{(n)}}>1 \Rightarrow \hat \lambda x_{(n)}>\hat \lambda x_{(n)}n$$ que es imposible. Por lo tanto, concluimos que

$$\hat \lambda >\frac 1{x_{(n)}},\;\; \hat \lambda = \frac c{x_{(n)}}, \;\; c>1$$

Insertando en la log-verosimilitud obtenemos

$$\ell(\hat\lambda(c)\mid x_{(n)}) = \log \frac c{x_{(n)}} + \log n - \frac c{x_{(n)}} x_{(n)} + (n-1) \log (1 - e^{-\frac c{x_{(n)}} x_{(n)}})$$

$$= \log \frac n{x_{(n)}} + \log c - c + (n-1) \log (1 - e^{-c})$$

Queremos maximizar esta probabilidad con respecto a $c$ . Su primera derivada es

$$\frac{d\ell}{dc}=\frac 1c -1 +(n-1)\frac 1{e^{c}-1}$$

Si lo hacemos igual a cero, requerimos que

$$e^{c}-1 - c\left(e^{c}-1\right)+(n-1)c =0$$

$$\Rightarrow \left(n-e^c\right)c = 1-e^c$$

Desde $c>1$ el RHS es negativo. Por lo tanto, también debemos tener $n-e^c <0 \Rightarrow c > \ln n$ . Para $n\ge 3$ esto proporciona un límite inferior más ajustado para la MLE, pero no cubre el $n=2$ caso, así que

$$\hat \lambda > \max \left\{\frac 1{x_{(n)}}, \frac {\ln n}{x_{(n)}}\right\}$$

Además (para $n\ge 3$ ) reordenando la condición de primer orden tenemos que

$$c= \frac{e^c-1}{e^c-n} > \ln n \Rightarrow e^c -1 > e^c\ln n -n\ln n$$

$$\Rightarrow n\ln n-1>e^c(\ln n -1) \Rightarrow c< \ln{\left[\frac{n\ln n-1}{\ln n -1}\right]}$$ Así que para $n\ge 3$ tenemos que

$$\frac 1{x_{(n)}}\ln n < \hat \lambda < \frac 1{x_{(n)}}\ln{\left[\frac{n\ln n-1}{\ln n -1}\right]}$$

Este es un intervalo estrecho, especialmente si $x_{(n)}\ge 1$ . Por ejemplo (truncado en el tercer dígito)

$$\begin{align} n=10 & &\frac 1{x_{(n)}}2.302 < \hat \lambda < \frac 1{x_{(n)}}2.827\\ n=100 & & \frac 1{x_{(n)}}4.605 < \hat \lambda < \frac 1{x_{(n)}}4.847\\ n=1000 & & \frac 1{x_{(n)}}6.907 < \hat \lambda < \frac 1{x_{(n)}}7.063\\ n=10000 & & \frac 1{x_{(n)}}9.210< \hat \lambda < \frac 1{x_{(n)}}9.325\\ \end{align}$$

Los ejemplos numéricos indican que la MLE tiende a ser igual al límite superior, hasta el segundo dígito decimal.

ADICIÓN: UNA EXPRESIÓN DE FORMA CERRADA
Esto es sólo una solución aproximada (sólo maximiza aproximadamente la probabilidad), pero aquí está:
manipulando la condición de primer orden que queremos tener

$$\lambda = \frac 1{x_{(n)}}\ln \left[\frac {\lambda x_{(n)}n -1}{\lambda x_{(n)} -1}\right]$$

Ahora, se puede mostrar (ver por ejemplo ici ) que

$$E[X_{(n)}] = \frac {H_n}{\lambda},\;\; H_n = \sum_{k=1}^n\frac 1k$$

Resolver para $\lambda$ e insertando en el lado derecho de la condición implícita de primer orden, obtenemos

$$\lambda = \frac 1{x_{(n)}}\ln \left[\frac {nH_n\frac {x_{(n)}}{E[X_{(n)}]} -1}{ H_n\frac {x_{(n)}}{E[X_{(n)}]} -1}\right]$$

Queremos una estimación de $\lambda$ dado que $X_{(n)}=x_{(n)}$ , $\hat \lambda \mid \{X_{(n)}=x_{(n)}\}$ . Pero en tal caso, también tenemos $E[X_{(n)}\mid \{X_{(n)}=x_{(n)}\}] =x_{(n)}$ . esto simplifica la expresión y obtenemos

$$\hat \lambda = \frac 1{x_{(n)}}\ln \left[\frac {nH_n -1}{ H_n -1}\right]$$

Se puede comprobar que esta expresión de forma cerrada se mantiene cerca del límite superior derivado previamente, pero un poco menos que el MLE real (obtenido numéricamente).

Answer 2

Q1 . Trivial: diferenciar $G$ para obtener $$f_{M_n}(x) = \lambda n e^{-\lambda x}(1-e^{-\lambda x})^{n-1}, \quad x > 0.$$

Q2 . La probabilidad de $\lambda$ dado el solo observación $M_n = x$ es $L(\lambda \mid x) = f_{M_n}(x)$ En consecuencia, el log-likelihood es $$\ell(\lambda \mid x) = \log \lambda + \log n - \lambda x + (n-1) \log (1 - e^{-\lambda x}).$$ Diferenciación con respecto a $\lambda$ da $$\frac{d\ell}{d\lambda} = \frac{1}{\lambda} - x + \frac{(n-1) x e^{-\lambda x}}{1 - e^{-\lambda x}},$$ que requerimos que sea cero; es decir, $$(1-\lambda x)e^{\lambda x} + n \lambda x - 1 = 0.$$ Tal ecuación no admite, hasta donde yo sé, una solución elemental de forma cerrada para $\lambda$ .

Me gustaría mucho ver cuál es la idea de este profesor sobre $\hat\lambda_n$ es, porque casi puedo asegurar que, sea lo que sea lo que piensa, está equivocado.