Ajuste regularizado a partir de datos resumidos

Question

Tengo un problema de regresión lineal múltiple$y=X\beta+\epsilon$. El número de observaciones$m$ es grande, así que para cuando los datos llegan a mí se resumen en:

• $m$
• $X^TX$
• $X^Ty$
• $y^Ty$
• $\sum_{i=1}^m{y_i}$

La lista anterior parece suficiente para calcular la estimación MCO. Pero, ¿se puede usar para calcular una estimación regularizada de algún tipo (por ejemplo, regresión de cresta)? De lo contrario, ¿se puede aumentar la lista con el mismo espíritu para permitir la regularización?

Answer 1

Sería bueno tener, además de la matriz de covarianza de los residuos de $\hat{\Sigma}$ a dibujar común inferencias acerca de la significación de los parámetros estimados, o si estás seguro de que es homoscedástica, a continuación, sólo $\hat{\sigma}^2$.

Como para las regularizaciones de generalizada de los mínimos cuadrados tipo (probablemente incluyendo los estimadores de variables instrumentales), la respuesta será no. Usted necesita los datos originales de las matrices (aunque si son suministrados por $X^T \Omega^{-1}X$ $X^T\Omega^{-1}y$ puede hacer que el GLS, pero pierde el control para la selección de $\Omega$, de todos modos).

Para general no lineal lazo de regularización sería aún más complicado. Por suerte, puede ser aproximada por la cresta de la regresión (ver pág. 273 en la referencia) de un tipo especial.

Respecto a la ordinaria regresión ridge es suficiente, ya que todo lo que tienes que hacer en este caso es sólo para agregar elementos a la diagonal $X^TX+\delta I$ donde $I$ es una matriz identidad. Así, en este caso en particular funciona bien.