Mejorar el estimador mínimo

Question

Supongamos que tengo $n$ positivo parámetros a estimar $\mu_1,\mu_2,...,\mu_n$ y sus correspondientes $n$ estimaciones imparciales producido por los estimadores $\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$, es decir,$\mathrm E[\hat{\mu_1}]=\mu_1$, $\mathrm E[\hat{\mu_2}]=\mu_2$ y así sucesivamente.

Me gustaría estimación $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ utilizando las estimaciones en la mano. Claramente el ingenuo estimador $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$ está sesgada inferior como $$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Supongamos que yo también tengo la matriz de covarianza de los correspondientes estimadores $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$ a mano. Es posible obtener una evaluación imparcial (o menos parcial) de la estimación de mínimos utilizando la estima y la matriz de covarianza?

Ediciones basado en los comentarios hasta el momento:

Por ejemplo $min(\hat{\mu_1} + \sigma_1,\hat{\mu_2} + \sigma_2,...,\hat{\mu_n} + \sigma_n)$ ser un mejor estimador?

¿Sería el problema más fácil si me pide el índice de $i$ de la mínima media de$\mu_i$, en lugar del valor de la media?

¿Hay estadísticas de otros de covarianza que puede ser útil en este escenario?

Answer 1

No tengo una respuesta clara acerca de la existencia de unbiased estimator. Sin embargo, en términos de estimación de error, la estimación de $\min(\mu_1, \dots, \mu_n)$ es intrínsecamente un problema difícil en general.

Por ejemplo, supongamos $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$, e $\mu = (\mu_1, \dots, \mu_n)$. Deje $\theta = \min_i \mu_i$ ser el destino de la cantidad y $\hat{\theta}$ es una estimación de $\theta$. Si usamos el "ingenuo" estimador $\hat{\theta} = \min_i(\bar{Y}_i)$ donde$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$,, $L_2$ estimación error es superior delimitada por $$ \mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N} $$ hasta constante. (Tenga en cuenta que la estimación de error para cada una de las $\mu_i$$\frac{\sigma^2}{N}$). Por supuesto, si $\mu_i$'s están lejos unos de los otros y $\sigma$ es muy pequeña, la estimación de error debe ser reducido a $\frac{\sigma^2}{N}$. Sin embargo, en el peor de los casos, no hay estimación de $\theta$ funciona mejor que el ingenuo estimador. Usted puede, precisamente, mostrar que $$ \inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N} $$ donde el infimum tiene sobre todas las posibles estima de $\theta$ basado en la muestra $Y_1,\dots, Y_N$ y el supremum tiene sobre todas las configuraciones posibles de $\mu_i$'s.

Por lo tanto, el ingenuo estimador es minimax óptimo hasta constante, y no hay mejor estimación de $\theta$ en este sentido.

Answer 2

EDIT: Las siguientes respuestas a una pregunta diferente de lo que se les pide - que se enmarca como si $\mu$ se considera al azar, pero no funciona al $\mu$ se considera fijo, que es probablemente lo que el OP tenía en mente. Si $\mu$ es fijo, no tengo una respuesta mejor que la de $\min(\hat\mu_1,...,\hat\mu_n)$

---

Si sólo se consideran las estimaciones de la media y la covarianza, podemos tratar a $(\mu_1, ..., \mu_n)$ como una sola muestra de la distribución normal multivariante. Una forma sencilla de obtener una estimación de la mínima, a continuación, dibujar un gran número de muestras de $MVN(\hat{\mu}, \Sigma)$, calcular el mínimo de cada muestra y, a continuación, tomar la media de los mínimos.

El procedimiento anterior y de sus limitaciones, puede ser entendido en Bayesiano términos de toma de la notación de la Wikipedia en MVN, si $\Sigma$ es el conocido covarianza de los estimadores y tenemos una observación, la articulación posterior distribución se $\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$ donde $\lambda_0$ $m$ surgir a partir de la previa, donde, antes de observar los datos que tomar antes de la $\mu \sim MVN(\lambda_0, m^{-1} \Sigma$). Puesto que usted probablemente no están dispuestos a poner priores en $\mu$, podemos tomar el límite de $m \rightarrow 0$, lo que resulta en un plano anterior y la posterior, en $\mu \sim MVN(\hat{\mu}, \Sigma)$. Sin embargo, dada la plana antes de que nos están implícitamente haciendo la suposición de que los elementos de $\mu$ diferir mucho (si todos los números reales son igualmente probables, obteniendo valores similares es muy raro).

Una rápida simulación muestra que la estimación con este procedimiento ligeramente sobrestima $min(\mu)$ cuando los elementos de $\mu$ diferir mucho y subestima $min(\mu)$ cuando los elementos son similares. Uno podría argumentar que sin ningún conocimiento previo este es el comportamiento correcto. Si usted está dispuesto a estado al menos algo de información previa (por ejemplo,$m = 0.1$), el resultado podría ser un poco mejor comportamiento para el caso de uso.

Si estás dispuesto a asumir más estructura, usted podría ser capaz de elegir una mejor distribución de multivariete normal. También puede tener sentido utilizar Stan u otros MCMC sampler para adaptarse a las estimaciones de $\mu$ en el primer lugar. De esta manera se consigue un conjunto de muestras de $(\mu_1, ..., \mu_n)$ que reflejan la incertidumbre en los estimadores de sí mismo, incluyendo su estructura de covarianza (posiblemente más rico de lo MVN puede proporcionar). Una vez más, puede que calcular el mínimo de cada muestra para obtener una distribución posterior sobre los mínimos, y tomar la media de esta distribución, si usted necesita una estimación de punto.