Error estándar del MLE para la distribución de Laplace

Question

Dada la distribución de Laplace parametrizada por $ \mu $ y $b$ ,

$f(x \mid \mu ,b)={ \frac {1}{2b}} \exp \left (-{ \frac {|x- \mu |}{b}} \right )\,\!$ ,

Sé que $ \hat \mu $ el estimador de máxima probabilidad de $ \mu $ es la mediana de la muestra. ¿Pero cómo encontramos el error estándar del EML? No estoy seguro de cómo proceder, ya que la información de Fisher no está definida cuando $x = \hat \mu $ lo cual, para mis propósitos, debo asumir que sucederá.

Soy consciente de las respuestas dadas a la pregunta aquí . Lo que busco en general es un método para calcular los errores estándar cuando la probabilidad de registro no es doblemente diferenciable.

Answer 1

La apelación a la información de Fisher le da una aproximación asintótica al error estándar. Como whuber señala correctamente en los comentarios, siempre que esta función sea casi seguramente diferenciable, eso debería ser suficiente para obtener su resultado.

Sin embargo, en el presente caso también es posible obtener la distribución exacta de la MLE mediante métodos de primeros principios, sin apelar a la teoría asintótica de las MLE. Su MLE es la mediana, por lo que su distribución puede obtenerse utilizando resultados distributivos estándar para estadísticas de orden, donde la distribución subyacente es continua. Para derivar el resultado supondremos un número impar de observaciones para simplificar el tratamiento de la mediana.

En este caso tenemos $n = 2k+1$ para algún número entero no negativo $k$ y la MLE es $\hat{\mu} = X_{(k+1)}$ . Dejamos que $f$ y $F$ sean las respectivas funciones de densidad y distribución para la distribución muestral (de media cero). Para los valores IID de una distribución continua tenemos entonces:

$$\begin{equation} \begin{aligned} \mathbb{V}( \hat{\mu}) = \mathbb{E}( (\hat{\mu} - \mu)^2 ) &= \int \limits_{-\infty}^\infty t^2 f(t) \text{Beta}(F(t) | k+1, k+1) dt \\[6pt] &= \frac{(2k+1)!}{k! k!} \int \limits_{-\infty}^\infty t^2 f(t) F(t)^k (1-F(t))^k dt \\[6pt] &= \frac{(2k+1)!}{k! k!} \int \limits_{-\infty}^\infty t^2 f(t) (F(t)-F(t)^2)^k dt \\[6pt] &= \frac{(2k+1)!}{k! k!} \sum_{i=0}^k {k \choose i} (-1)^{k-i} \int \limits_{-\infty}^\infty t^2 f(t) F(t)^i F(t)^{2k-2i} dt \\[6pt] &= \frac{(2k+1)!}{k! k!} \sum_{i=0}^k {k \choose i} (-1)^{k-i} \int \limits_{-\infty}^\infty t^2 f(t) F(t)^{2k-i} dt. \\[6pt] \end{aligned} \end{equation}$$

Para la distribución de Laplace tenemos $F(t)(1-F(t)) = \tfrac{1}{2} \exp(- |t|/b) - \tfrac{1}{4} \exp(- 2|t|/b)$ y $f(t) = \tfrac{1}{2b} \exp(- |t|/b)$ para que:

$$\begin{equation} \begin{aligned} \mathbb{V}( \hat{\mu}) &= \frac{(2k+1)!}{k! k!} \sum_{i=0}^k {k \choose i} (-1)^{k-i} \int \limits_{-\infty}^\infty t^2 f(t) F(t)^{2k-i} dt \\[6pt] &= 2 \frac{(2k+1)!}{k! k!} \sum_{i=0}^k {k \choose i} (-1)^{k-i} \int \limits_0^\infty t^2 f(t) F(t)^{2k-i} dt \\[6pt] &= b^2 \frac{(2k+1)!}{k! k!} \sum_{i=0}^k {k \choose i} (-1)^{k-i} \Big( \frac{1}{2} \Big)^{2k-i} \int \limits_0^\infty t^2 \exp (-(2k-i+1)t) dt \\[6pt] &= b^2 \frac{(2k+1)!}{2^{k-1} k! k!} \sum_{i=0}^k {k \choose i} \frac{(-1 /2)^{k-i} }{(2k-i+1)^3}. \\[6pt] \end{aligned} \end{equation}$$

Esto nos da una expresión de forma cerrada (suma finita) para la varianza del estimador MLE (es decir, la mediana de la muestra). (Es importante tener cuidado con el error de redondeo al evaluar la expresión de la varianza, ya que implica un producto de términos muy grandes y muy pequeños). Una expresión relacionada ha sido investigada en un excelente análisis por Claude Liebovici en este pregunta relacionada lo que demuestra que $\mathbb{V}( \hat{\mu}) \approx b^2 / n$ como $n \rightarrow \infty$ . Este resultado limitante concuerda con la teoría asintótica de la mediana muestral, que ha $\mathbb{V}(\hat{\mu}) \rightarrow 1 / (4n f(\mu)^2) = b^2 / n$ .