OLS es AZUL. Pero lo que si no me importa unbiasedness y la linealidad?

Question

El de Gauss-Markov teorema nos dice que el estimador de MCO es el best linear unbiased estimator para el modelo de regresión lineal.

Pero supongamos que no me importa acerca de la linealidad y unbiasedness. A continuación, hay algunos otros (posible no lineal/parcial) estimador para el modelo de regresión lineal que es el más eficiente bajo el de Gauss-Markov supuestos o algún otro conjunto de supuestos?

Hay, por supuesto, un resultado estándar: OLS mismo es el mejor estimador imparcial si, además de la de Gauss-Markov supuestos también se asume que los errores están distribuidos normalmente. Para algunos otros distribución particular de los errores podría calcular el correspondiente de máxima probabilidad del estimador.

Pero me preguntaba si hay algún estimador que es mejor-que-OLS en algunos relativamente general, el conjunto de circunstancias?

Answer 1

Estimaciones imparciales son típicos en la introducción a las estadísticas de los cursos porque ellos son: 1) clásico, 2) fácil de analizar matemáticamente. La Cramer-Rao límite inferior es una de las principales herramientas para la 2). Lejos de las estimaciones imparciales no hay mejora posible. El sesgo de la varianza en la compensación es un concepto importante en las estadísticas para la comprensión de cómo estimaciones sesgadas puede ser mejor que las estimaciones imparciales.

Por desgracia, la parcialidad de los estimadores son normalmente más difíciles de analizar. En la regresión, gran parte de la investigación en los últimos 40 años ha sido de alrededor de estimación sesgada. Esto comenzó con cresta de regresión (Hoerl y Kennard, 1970). Ver Frank y Friedman (1996) y Burr y Alevines (2005) para la revisión y perspectivas.

El sesgo de la varianza de equilibrio se vuelve más importante en altas dimensiones, donde el número de variables es grande. Carlos Stein sorprendió a todos cuando comprobó que en los medios Normales problema de la media de la muestra ya no es admisible si $p \geq 3$ (véase Stein, 1956). El James-Stein estimador (James y Stein 1961) fue el primer ejemplo de un estimador que domina la media de la muestra. Sin embargo, también es inadmisible.

Una parte importante del sesgo de la varianza problema es determinar cómo el sesgo debe ser negociados. No existe un único "mejor" estimador. Dispersión ha sido una parte importante de la investigación en la última década. Ver Hesterberg et al. (2008) para un parcial de revisión.

La mayoría de los estimadores mencionados anteriormente no son lineales en $Y$. Incluso cresta de regresión no lineal una vez que los datos se utiliza para determinar la cresta parámetro.

Answer 2

No sé si están de acuerdo con la Estimación de Bayes? Si sí, entonces en función de la Pérdida de la función usted puede obtener diferentes Estimaciones de Bayes. Un teorema por Blackwell los estados que de Bayes Estimaciones nunca son imparciales. Una decisión teórica argumento de los estados que cada admisible regla ((es decir, o toda otra norma contra la cual se compara, no es un valor del parámetro para el que el riesgo de la presente regla es (estrictamente) menor que la de la norma contra la cual se comparan)) es un (generalizada) la regla de Bayes.

James-Stein Estimadores son otra clase de estimadores (que pueden ser obtenidos por métodos Bayesianos asintóticamente) que son mejores que los de OLS en muchos casos.

OLS puede ser inadmisible en muchas situaciones y James-Stein Estimador es un ejemplo. (también se llama Stein paradoja).

Answer 3

Hay un buen artículo de revisión por Kay y Eldar en la estimación sesgada con el propósito de encontrar estimadores con el mínimo error cuadrático.