Aquí hay dos enfoques. Yo no estoy reclamando optimalidad. Puede haber mejores maneras de tratar este problema.
Supongamos que conocemos $\theta$ es en cierto intervalo de $\mathcal{Z}$ (posiblemente el conjunto de todos los números reales). Suponga que cada una de las $\mu_i(\theta)$ función es diferenciable y es estrictamente creciente o estrictamente decreciente en a $\theta$. Sin pérdida de generalidad, supongamos que cada uno es estrictamente creciente (otra cosa, simplemente defina $Y_i =-X_i$). Definir $\beta_i$ como mínimo de la pendiente de $\mu_i(\theta)$$\theta \in \mathcal{Z}$, y asumir la $\beta_i>0$ todos los $i$.
Estrategia 1: $g_i(\theta) = \beta_i/\sigma_i^2(\theta)$
Estrategia 2: $g_i(\theta) = \mu'_i(\theta)/\sigma_i^2(\theta)$
La intuición detrás de la estrategia 2 es el que se intenta encontrar un valor más exacto de la pendiente sobre el punto de $\theta$ de interés, útil cuando nuestro adivinar $\hat{\theta}$ ya está bastante cerca de la verdadera respuesta. No existe información acerca de la pendiente, tenemos que utilizar el global min $\beta_i$. A continuación analizo cómo he llegado con la estrategia 1.
Estimación de la ecuación y los supuestos
Su estimador encuentra $\hat{\theta} \in \mathcal{Z}$, determinado a partir de $X = (X_1, \ldots, X_n)$, como la solución a la siguiente estimación de la ecuación:
$$ \sum_{i=1}^n g_i(\hat{\theta})(X_i - \mu_i(\hat{\theta}))=0 $$
Para $X=(X_1, \ldots, X_n)$, e $z \in \mathcal{Z}$, definir:
$$ h(X,z) = \sum_{i=1}^ng_i(z)(X_i-\mu_i(z)) $$
La estimación de la ecuación es equivalente a $h(X, \hat{\theta})=0$.
Hipótesis 1:
Suponga $g_i(z)\geq 0$ todos los $i\in\{1, \ldots, n\}$ y todos los $z\in\mathcal{Z}$.
Hipótesis 2:
Suponga que para todos sea posible $X = (X_1, \ldots, X_n)$, la función de $h(X,z)$ es nonincreasing en $z$, por lo que el $z_1\leq z_2$ implica $h(X,z_1)\geq h(X,z_2)$.
Desarrollo de la estrategia 1:
Definir $\hat{\theta}$ como la solución para la estimación de la ecuación, y definir $\delta = \hat{\theta} - \theta$ como el error. Fix $\epsilon>0$ y definir :
$$Y = \sum_{i=1}^ng_i(\theta+\epsilon)X_i$$
Si $\delta\geq\epsilon$, entonces:
\begin{eqnarray}
0 &=& h(X,\hat{\theta})\\
&=& h(X,\theta + \delta) \\
&\leq& h(X,\theta + \epsilon)\\
&=& \sum_{i=1}^ng_i(\theta+\epsilon)(X_i-\mu_i(\theta+\epsilon))\\
&\leq&\sum_{i=1}^ng_i(\theta+\epsilon)(X_i - \mu_i(\theta))-\epsilon\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i\\
&=&Y - E[Y] - \epsilon\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i
\end{eqnarray}
donde la primera desigualdad se utiliza el nonincreasing asunción, y la segunda utiliza el hecho de que $\beta_i$ es el mínimo de la pendiente de $\mu_i(\theta)$. Por lo tanto:
$$ Pr[\delta \geq \epsilon] \leq Pr\left[Y \geq E[Y] + \epsilon\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i\right] $$
Por la desigualdad de Chebyshev se sostiene que:
\begin{eqnarray}
Pr\left[Y\geq E[Y] + \epsilon\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i\right] &\leq& \frac{Var(Y)}{\epsilon^2(\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i)^2}\\
&=& \frac{\sum_{i=1}^ng_i(\theta+\epsilon)^2\sigma_i(\theta)^2}{\epsilon^2(\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i)^2}
\end{eqnarray}
Una similar bound puede ser derivado a $Pr[\delta \leq -\epsilon]$. Poniendo a estos en conjunto, se obtiene:
$$ Pr[|\delta|\geq \epsilon] \leq \frac{\sum_{i=1}^ng_i(\theta+\epsilon)^2\sigma_i(\theta)^2}{\epsilon^2(\sum_{i=1}^ng_i(\theta+\epsilon)\beta_i)^2} + \frac{\sum_{i=1}^ng_i(\theta-\epsilon)^2\sigma_i(\theta)^2}{\epsilon^2(\sum_{i=1}^ng_i(\theta-\epsilon)\beta_i)^2} $$
Ahora tiene sentido el diseño de $g_i(\theta)$ a minimizar el lado derecho de la anterior obligado. Para simplificar, supongamos $\epsilon \approx 0$. Esto motiva una precisa del problema de optimización se define a continuación.
Problema de optimización:
Para cada una de las $\theta \in \mathcal{Z}$,$\sigma_i(\theta)$$\beta_i$, y debemos encontrar los valores de $g_i(\theta)$ resolver:
Minimizar: $\frac{\sum_{i=1}^n g_i(\theta)^2\sigma_i(\theta)^2}{\left(\sum_{i=1}^ng_i(\theta)\beta_i\right)^2}$
De tal forma que: $g_i(\theta) > 0 \: \mbox{for all $i\in\{1, \ldots n\}$}$.
Es evidente que la ampliación de una solución de $(g_1(\theta), \ldots, g_n(\theta))$ por una constante positiva $\gamma$ no va a cambiar la relación. Por lo tanto, el problema es equivalente a:
Minimizar: $\sum_{i=1}^n g_i(\theta)^2\sigma_i(\theta)^2$
De tal forma que: $\sum_{i=1}^n g_i(\theta)\beta_i=1 \: , \: g_i(\theta)>0 \: \forall i \in \{1, \ldots, n\}$
Un multiplicador de Lagrange enfoque le da la solución de la $g_i(\theta) = \gamma \beta_i/\sigma_i(\theta)^2$ donde $\gamma$ es cualquier constante positiva. Por supuesto, para mantener la coherencia, esperamos que estas funciones satisfacen la Hipótesis 2.
Otro enfoque
Otro enfoque observa $(X_1, \ldots, X_n)$ y elige $\hat{\theta}$ a minimizar un "ponderado de la varianza empírica" de la expresión:
$$ \sum_{i=1}^nc_i(\hat{\theta})(X_i-\mu_i(\hat{\theta}))^2 $$
para algunos la elección de $c_i(\hat{\theta})$ funciones. Supongamos $c_i(\hat{\theta})=1/2$ todos los $i\in \{1, \ldots, n\}$. Tomando un derivado, esto se traduce en que el estimador que se encuentra $\hat{\theta}$ a partir de la ecuación:
$$ \sum_{i=1}^n \mu_i'(\hat{\theta})(X_i-\mu_i(\hat{\theta}))=0 $$
que tiene la misma estructura que la estimación de la ecuación en el caso especial cuando $g_i(\hat{\theta}) = \mu_i'(\hat{\theta})$.
Resultados ampliados
En realidad, puedo mostrar el resultado de un largo que casi no tiene supuestos sobre las funciones $g_i(z)$, $\mu_i(z)$, $\sigma_i(z)^2$ (así monotonía no es necesario). Asumir:
1) El $\mathcal{Z}$ posible $\theta$ es un conjunto compacto.
2) $\sum_{i=1}^n g_i(z)(X_i-\mu_i(z))=0$ tiene al menos una solución de $z \in \mathcal{Z}$ todos los $n$ y todos los $(X_1, \ldots, X_n)$.
3) $g_i(z)$ $\mu_i(z)$ son funciones continuas sobre $z \in \mathcal{Z}$.
4) Las desviaciones satisfacer $\sum_{i=1}^{\infty} \frac{g_i(\theta)^2\sigma_i(\theta)^2}{i^2}<\infty$
5) La secuencia de las estimaciones de la $\hat{\theta}_n$ resuelve la estimación de la ecuación para cada una de las $n \in \{1, 2, 3, \ldots\}$.
Entonces, con probabilidad 1, cualquier convergente larga de la estimación de la secuencia de $\{\hat{\theta}_n\}_{n=1}^{\infty}$ converge a un punto de $z^* \in \mathcal{Z}$ que resuelve el siguiente límite de la ecuación:
$$ \lim_{n\rightarrow\infty} \frac{1}{n}\sum_{i=1}^ng_i(z^*)(\mu_i(\theta)-\mu_i(z^*)) = 0 $$
En particular, si $z^*=\theta$ es la única solución para el límite de la ecuación, entonces la estimación de la secuencia converge a $\theta$ con una probabilidad de 1.
Me pregunto si este resultado se conoce, o es nuevo?
