La geometría de los sólidos modelo lineal

Question

$L_2$ minimización tiene una muy buena explicación geométrica como la proyección sobre un subespacio de el tamaño adecuado. Hay una similar "explicación real" para cualquiera de los enfoques de la regresión robusta?

Edit: Por ejemplo Huber M estimaciones de regresión y Yohai MM estimador de regresión.

Answer 1

Sí! Regresión robusta tiene una clara interpretación geométrica.

Uno puede pensar acerca de la geometría de un estimador mirando el grupo de equivariance a la que pertenece. Ejemplo rápido;

Ejemplo de escala estimador $S(x)$ (el habitual de variación, $\sigma^2(x)$, y la mediana de la desviación absoluta, $\mbox{mad}(x)$, son dos carrito de rodamiento de los miembros de este grupo) son equivariant a las multiplicaciones de los datos por una constante:

$$S(\alpha x)=|\alpha|S(x),\quad\alpha\in\mathbb{R}$$

In other words, the group of equivariance defines the transformations of the data which, in some sense, you don't need to care about when using the estimator because when such a transformation is applied to the data, the estimator changes with the data 'in the natural way'.

These groups of equivariance also have bearing on important properties of the estimators such as consistency.

---

Likewise, a regression estimator $T(\pmb x,y)\in\mathbb{R}^p$ is characterized by at least two group of equivariance:

• $T(\pmb x,y)$ es la regresión equivariant: $$T(\pmb x,y+\pmb\beta'x)=T(\pmb x,y)+\pmb\beta,\quad\pmb\beta\in\mathbb{R}^p$$
• $T(\pmb x,y)$ es afín equivariant: $$T(\pmb x\pmb A,y)=\pmb A^{-1}T(\pmb x,y)$$ para cualquier no singular de la matriz $\pmb A\in\mathbb{R}^{p\times p}$. Esto implica que $T(\pmb x,y)$ es residual admisible: la regresión de las estimaciones depende sólo de los datos a través del vector de residuos.

El estimador de regresión estimada por rlm, como la costumbre de los estimadores de MCO, todas satisfacer afín y de regresión equivariance.

---

Tenga en cuenta que existen algunos de los estimadores de regresión robusta que pertenecen al grupo de equivariance para que la OPERACIÓN no pertenecen (por ejemplo, que tienen en este sentido una geometría más fuerte de OLS). Creo que de la invariancia a la monotonía de las transformaciones que se tiene para los cuantiles basados en estimadores como el $\mbox{mad}(x)$ (y en el caso de la monotonía de la transformación de las respuestas de los cuantiles de regresión), pero no para la varianza (o la costumbre de los estimadores de MCO).