12 votos

Sobre la existencia de UMVUE y la elección del estimador de $\theta$ en $\mathcal N(\theta,\theta^2)$ población

Dejemos que $(X_1,X_2,\cdots,X_n)$ sea una muestra aleatoria extraída de $\mathcal N(\theta,\theta^2)$ población donde $\theta\in\mathbb R$ .

Estoy buscando el UMVUE de $\theta$ .

Densidad conjunta de $(X_1,X_2,\cdots,X_n)$ es

\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}

donde $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ y $h(\mathbf x)=1$ .

Aquí, $g$ depende de $\theta$ y en $x_1,\cdots,x_n$ a través de $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ y $h$ es independiente de $\theta$ . Así que por el teorema de factorización de Fisher-Neyman, la estadística bidimensional $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ es suficiente para $\theta$ .

Sin embargo, $T$ no es una estadística completa. Esto se debe a que $$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$$

y la función $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$ no es idéntico a cero.

Pero sé que $T$ es una estadística mínima suficiente.

No estoy seguro, pero creo que puede no existir una estadística completa para esta familia exponencial curvada. Entonces, ¿cómo debo obtener el UMVUE? Si no existe un estadístico completo, ¿puede un estimador insesgado (como $\bar X$ en este caso) que es una función de estadística mínima suficiente sea el UMVUE? (Tema relacionado: ¿Cuál es la condición necesaria para que un estimador insesgado sea UMVUE? )

¿Y si considero el mejor estimador lineal insesgado (BLUE) de $\theta$ ? ¿Puede ser el AZUL el UMVUE?

Supongamos que considero el estimador lineal insesgado $T^*(\mathbf X)=a\bar X+(1-a)cS$ de $\theta$ donde $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ y $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ . Como sabemos que $E_{\theta}(cS)=\theta$ . Mi idea es minimizar $\text{Var}(T^*)$ para que $T^*$ sería el AZUL de $\theta$ . ¿Podría $T^*$ sea entonces el UMVUE de $\theta$ ?

He tomado un estimador lineal insesgado basado en $\bar X$ y $S$ como $(\bar X,S^2)$ también es suficiente para $\theta$ .

Editar:

En efecto, se ha trabajado mucho en la estimación de $\theta$ en el ámbito más general $\mathcal N(\theta,a\theta^2)$ familia donde $a>0$ se conoce. A continuación se presentan algunas de las referencias más relevantes:

Encontré la primera de estas referencias en este ejercicio de Inferencia estadística de Casella/Berger:

enter image description here

enter image description here

Sin embargo, mi pregunta no se refiere a este ejercicio.

La nota final (el extracto del capítulo) dice que el UMVUE de $\theta$ no existe ya que la estadística mínima suficiente no es completa. Me gustaría saber qué nos permite concluir que un UMVUE no existe simplemente porque no se puede encontrar una estadística completa suficiente? ¿Hay algún resultado relacionado con esto? Veo la existencia de UMVUE incluso cuando no existen estadísticas suficientes completas en el hilo enlazado.

Suponiendo ahora que no existe un estimador insesgado de varianza mínima uniforme, ¿cuál debería ser nuestro siguiente criterio para elegir el "mejor" estimador? ¿Buscamos el mínimo MSE, la mínima varianza o el MLE? ¿O la elección de los criterios dependerá de nuestro objetivo de estimación?

Por ejemplo, digamos que tengo un estimador insesgado $T_1$ y otro estimador sesgado $T_2$ de $\theta$ . Supongamos que el MSE de $T_1$ (que es su varianza) es más que la de $T_2$ . Dado que la minimización del MSE significa minimizar el sesgo y la varianza simultáneamente, $T_2$ Creo que debería ser una opción "mejor" de estimador que $T_1$ aunque el primero es tendencioso.

Opciones probables de estimadores de $\theta$ se enumeran a partir de la página 4 de la última nota.

El siguiente extracto es de Teoría de la estimación de puntos de Lehmann/Casella (segunda edición, página 87-88):

enter image description here

enter image description here

Es muy probable que lo haya entendido todo mal, pero ¿la última frase dice que, en determinadas condiciones, la existencia de una estadística completa es necesaria para la existencia de UMVUE? Si es así, ¿es éste el resultado que debo observar?

Ese último resultado debido a R.R. Bahadur que se menciona justo al final se refiere a este nota.

Buscando más, he encontrado un resultado que afirma que si la estadística mínima suficiente no es completa, entonces no existe una estadística completa. Así que, al menos, estoy bastante convencido de que aquí no existe una estadística completa.

Otro resultado que olvidé considerar es el que dice, a grandes rasgos, que una condición necesaria y suficiente para que un estimador insesgado sea el UMVUE es que no esté correlacionado con ningún estimador insesgado de cero. Intenté utilizar este teorema para demostrar que aquí no existe un UMVUE, y también el hecho de que un estimador insesgado como $\bar X$ no es el UMVUE. Pero esto no resulta tan sencillo como se hace, por ejemplo aquí en la ilustración final.

3voto

Big Agnes Puntos 358

Actualización:

Considere el estimador $$\hat 0 = \bar{X} - cS$$ donde $c$ se da en su puesto. Este es un estimador insesgado de $0$ y estará claramente correlacionado con el estimador dado a continuación (para cualquier valor de $a$ ).

Teorema 6.2.25 de C&B muestra cómo encontrar estadísticas suficientes completas para la familia Exponencial siempre que $$\{(w_1(\theta), \cdots w_k(\theta)\}$$ contiene un conjunto abierto en $\mathbb R^k$ . Desgraciadamente, esta distribución da lugar a $w_1(\theta) = \theta^{-2}$ y $w_2(\theta) = \theta^{-1}$ que NO forma un conjunto abierto en $R^2$ (ya que $w_1(\theta) = w_2(\theta)^2$ ). Es por ello que la estadística $(\bar{X}, S^2)$ no está completo para $\theta$ y es por la misma razón que podemos construir un estimador insesgado de $0$ que estará correlacionado con cualquier estimador insesgado de $\theta$ que se basa en las estadísticas suficientes.


Otra actualización:

A partir de aquí, el argumento es constructivo. Debe darse el caso de que exista otro estimador insesgado $\tilde\theta$ tal que $Var(\tilde\theta) < Var(\hat\theta)$ para al menos una $\theta \in \Theta$ .

Prueba: Supongamos que $E(\hat\theta) = \theta$ , $E(\hat 0) = 0$ y $Cov(\hat\theta, \hat 0) < 0$ (para algún valor de $\theta$ ). Consideremos un nuevo estimador $$\tilde\theta = \hat\theta + b\hat0$$ Este estimador es claramente insesgado con varianza $$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$$ Dejemos que $M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$ .

Por supuesto, debe existir un $\theta_0$ tal que $M(\theta_0) > 0$ . Si elegimos $b \in (0, M(\theta_0))$ entonces $Var(\tilde\theta) < Var(\hat\theta)$ en $\theta_0$ . Por lo tanto, $\hat\theta$ no puede ser el UMVUE. $\quad \square$

En resumen: El hecho de que $\hat\theta$ está correlacionada con $\hat0$ (para cualquier elección de $a$ ) implica que podemos construir un nuevo estimador que es mejor que $\hat\theta$ para al menos un punto $\theta_0$ violando la uniformidad de $\hat\theta$ reclamar la mejor imparcialidad.


Veamos su idea de las combinaciones lineales más de cerca.

$$\hat\theta = a \bar X + (1-a)cS$$

Como usted señala, $\hat\theta$ es un estimador razonable, ya que se basa en la estadística suficiente (aunque no completa). Claramente, este estimador es insesgado, por lo que para calcular el MSE sólo tenemos que calcular la varianza.

\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}

Al diferenciar, podemos encontrar el "óptimo $a$ "para un tamaño de muestra determinado $n$ .

$$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$$ donde $$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$$

Un gráfico de esta elección óptima de $a$ se indica a continuación. enter image description here

Es algo interesante observar que como $n\rightarrow \infty$ tenemos $a_{opt}\rightarrow \frac{1}{3}$ (confirmado vía Wolframalpha).

Aunque no hay garantía de que sea el UMVUE, este estimador es el estimador de varianza mínima de todas las combinaciones lineales insesgadas de los estadísticos suficientes.

0 votos

Gracias por la actualización. No he seguido C&B como libro de texto, sólo he mirado los ejercicios.

1 votos

@StubbornAtom He añadido una prueba que demuestra por qué $\hat\theta$ no puede ser UMVUE (tomado en gran medida de la página 344 de C&B). Echa un vistazo y hazme saber si esto ayuda en algo.

1voto

Qiu Li Puntos 1

Déjeme encontrar directamente el UMVUE de $\theta$ . Sin embargo, no puedo responder " puede el AZUL ser el UMVUE ", ya que no tengo suficiente conocimiento del AZUL.

Se puede demostrar que $$\mathbb{E}(\bar{X})=\mathbb{E}(cS)=\theta,$$ donde $c$ es una constante para que $c=\mathbb{E}\left[\frac{S}{\theta}\right]$ , $S^2=\sum_{i=1}^n(X_i-\bar{X})^2$ .

Así, el totalidad del estimador insesgado de $\theta$ viene dada por $$\mathcal{U}(\theta)=\{a\bar{X}+(1-a)cS, a\in\mathbb{R}\},$$ se desprende del Lemma 1.4 de la obra de Lehmann y Casella Teoría de la estimación de puntos 2ª edición.

Basándonos en la definición de UMVUE, nuestro siguiente objetivo es encontrar el estimador $\delta_a(X)\in\mathcal{U}(\theta)$ para que $\text{Var}[\delta_a(X)]$ se minimiza, es decir $$\text{Var}[\delta_a(X)]=\min\{\text{Var}[\delta(X)]:\delta(X)\in\mathcal{U}(\theta)\},$$ lo que equivale a encontrar $a$ para que

$$a^*=\underset{a\in\mathbb{R}}{\arg\min}\text{Var}[a\bar{X}+(1-a)cS]$$

Desde $\bar{X}$ es independiente con $S$ podemos mostrar $$\text{Var}[a\bar{X}+(1-a)cS]=a^2\frac{\theta^2}{n}+(1-a)^2c^22(n-1)\theta^2$$ Tomando la derivada, dejándola en cero y resolviendo para $a^*$ obtenemos $$a^*=\frac{2nc^2(n-1)}{2nc^2(n-1)-1},$$ lo que significa $a^*\bar{X}+(1-a^*)cS$ es el UMVUE de $\theta$ .

---- Actualización ----

Lema 1.4 Si $\delta_0$ es cualquier estimador insesgado de $g(\theta)$ la totalidad de los estimadores insesgados viene dada por $\delta=\delta_0+U$ , donde $U$ es cualquier estimador insesgado de cero, es decir, satisface $$E_\theta(U)=0, \forall \theta\in\Theta$$

En nuestro caso, $U$ puede ser $\{a\bar{X}-acS,a\in\mathbb{R}\}$ . $\delta_0$ puede ser $cS$ . La totalidad del estimador insesgado es pues $\mathcal{U}(\theta)=\{a\bar{X}+(1-a)cS, a\in\mathbb{R}\}$ entonces el UMVUE (si existe) debe vivir en $\mathcal{U}(\theta)$ .

0 votos

Este estimador es el mejor entre los estimadores de la forma $a\overline X+(1-a)cS$ (como en el ejercicio 7.50 (b) de Casella-Berger), pero no se garantiza que sea UMVUE, ya que se restringe a una clase especial de estimadores (sin mencionar $(\overline X,S^2)$ no está completo). Creo que esto no es diferente a la respuesta anterior de @knrumsey.

0 votos

Hola @StubbornAtom, en realidad no. Si pudieras echar un vistazo al Lemma 1.4 y al ejemplo 1.5 de la obra de Lehmann y Casella libro p84, usted notaría que TODOS el estimador insesgado de $\theta$ se encuentra, que es el $\mathcal{U}(\theta)$ en su caso. No existe ningún otro estimador insesgado posible fuera de $\mathcal{U}(\theta)$ . Entonces, naturalmente, el de $\mathcal{U}(\theta)$ con varianza mínima (si existe) es el UMVUE de $\theta$ .

0 votos

La clase de estimadores insesgados de $0$ es definitivamente mucho mayor que la clase $\{a(\overline{X}-cS):a\in\mathbb{R}\}$ alegado en esta respuesta. Considere, por ejemplo, $X_1-X_2$ .

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X