¿Cuál es la relación entre estimador y estimación?

Question

¿Cuál es la relación entre estimador y estimación?

Answer 1

E. L. Lehmann, en su clásico Teoría de la estimación de puntos responde a esta pregunta en las páginas 1-2.

Ahora se postula que las observaciones son los valores que toman las variables aleatorias que se supone que siguen una distribución de probabilidad conjunta, $P$ ...perteneciente a alguna clase conocida...

...especialicémonos ahora en la estimación del punto... supongamos que $g$ es una función de valor real definida [sobre la clase de distribuciones estipulada] y que nos gustaría conocer el valor de $g$ [a cualquiera que sea la distribución actual en vigor, $\theta$ ]. Desgraciadamente, $\theta$ y por lo tanto $g(\theta)$ se desconoce. Sin embargo, los datos pueden utilizarse para obtener una estimación de $g(\theta)$ , un valor que se espera que sea cercano a $g(\theta)$ .

En palabras: un estimador es un procedimiento matemático definido que da lugar a un número (el estimación ) para cualquier conjunto posible de datos que pueda producir un problema concreto. Ese número pretende representar alguna propiedad numérica definida ( $g(\theta)$ ) del proceso de generación de datos; podríamos llamarlo "estimando".

El estimador propiamente dicho es pas una variable aleatoria: es sólo una función matemática. Sin embargo, la estimación que produce se basa en datos que a su vez se modelan como variables aleatorias. Esto hace que la estimación (pensada en función de los datos) en una variable aleatoria y una estimación particular para un conjunto particular de datos se convierte en una realización de esa variable aleatoria.

En una formulación (convencional) de mínimos cuadrados ordinarios, los datos consisten en pares ordenados $(x_i, y_i)$ . El $x_i$ han sido determinados por el experimentador (pueden ser cantidades de un fármaco administrado, por ejemplo). Cada $y_i$ (una respuesta al fármaco, por ejemplo) se supone que proviene de una distribución de probabilidad que es Normal pero con media desconocida $\mu_i$ y común desviación $\sigma^2$ . Además, se supone que los medios están relacionados con la $x_i$ mediante una fórmula $\mu_i = \beta_0 + \beta_1 x_i$ . Estos tres parámetros $\sigma$ , $\beta_0$ y $\beta_1$ -determinar la distribución subyacente de $y_i$ para cualquier valor de $x_i$ . Por lo tanto, cualquier propiedad de esa distribución puede pensarse como una función de $(\sigma, \beta_0, \beta_1)$ . Ejemplos de estas propiedades son el intercepto $\beta_0$ , la pendiente $\beta_1$ El valor de $\cos(\sigma + \beta_0^2 - \beta_1)$ o incluso la media en el valor $x=2$ que (según esta formulación) debe ser $\beta_0 + 2 \beta_1$ .

En este contexto OLS, un no ejemplo de un estimador sería un procedimiento para adivinar el valor de $y$ si $x$ se fijaron en 2. Esto es pas un estimador porque este valor de $y$ es al azar (de una manera completamente separada de la aleatoriedad de los datos): no es una propiedad (numérica definida) de la distribución, aunque esté relacionada con esa distribución. (Sin embargo, como acabamos de ver, la expectativa de $y$ para $x=2$ , igual a $\beta_0 + 2 \beta_1$ ).

En la formulación de Lehmann, casi cualquier fórmula puede ser un estimador de casi cualquier propiedad. No existe un vínculo matemático inherente entre un estimador y un estimando. Sin embargo, podemos evaluar -de antemano- la probabilidad de que un estimador se acerque razonablemente a la cantidad que pretende estimar. Las formas de hacerlo, y cómo explotarlas, son objeto de la teoría de la estimación.

Answer 2

En resumen: un estimador es una función y una estimación es un valor que resume una muestra observada.

Un estimador es una función que asigna una muestra aleatoria a la estimación del parámetro:

$$ \hat{\Theta}=t(X_1,X_2,...,X_n) $$ Obsérvese que un estimador de n variables aleatorias $X_1,X_2,...,X_n$ es una variable aleatoria $\hat{\Theta}$ . Por ejemplo, un estimador es la media de la muestra: $$ \overline{X}=\frac{1}{n}\sum_{n=1}^nX_i $$ Un estimación $\hat{\theta}$ es el resultado de aplicar la función de estimación a una muestra observada en minúsculas $x_1,x_2,...,x_n$ :

$$ \hat{\theta}=t(x_1,x_2,...,x_n) $$ Por ejemplo, una estimación de la muestra observada $x_1,x_2,...,x_n$ es la media de la muestra: $$ \hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i $$

Answer 3

Podría ser útil ilustrar la respuesta de Whuber en el contexto de un modelo de regresión lineal. Digamos que usted tiene algunos datos bivariados y se utiliza ordinario de mínimos cuadrados para llegar a la siguiente modelo:

Y = 6X + 1

En este punto, se puede tomar cualquier valor de X, introducirlo en el modelo y predecir el resultado, Y. En este sentido, se puede pensar en los componentes individuales de la forma genérica del modelo ( mX + B ) como estimadores . Los datos de la muestra (que presumiblemente se introdujeron en el modelo genérico para calcular los valores específicos de m y B arriba) proporcionó una base sobre la que se podía llegar a estimaciones para m y B respectivamente.

En consonancia con los puntos de @whuber en nuestro hilo de abajo, cualquier valor de Y un conjunto particular de estimadores le generan para son, en el contexto de la regresión lineal, pensados como valores predichos.

(editado -- unas cuantas veces -- para reflejar los comentarios de abajo)

Answer 4

Supongamos que recibes unos datos y tienes una variable observada llamada theta. Ahora sus datos pueden ser de una distribución de datos, para esta distribución, hay un valor correspondiente de theta que usted infiere que es una variable aleatoria. Puedes usar el PAM o la media para calcular la estimación de esta variable aleatoria siempre que la distribución de tus datos cambie. Así que la variable aleatoria theta se conoce como una estimación , un único valor de la variable no observada para un tipo de datos concreto.

Mientras que el estimador son sus datos, que también son una variable aleatoria. Para diferentes tipos de distribuciones tienes diferentes tipos de datos y por lo tanto tienes una estimación diferente y por lo tanto esta variable aleatoria correspondiente se llama estimador .