Suficiente estadística para $\beta$ en OLS

Question

Tengo el clásico modelo de regresión

$$y = \beta X + \epsilon$$ $$\epsilon \sim N(0, \sigma^2)$$

donde $X$ es fijo (no al azar), y $\hat\beta$ es la estimación OLS para $\beta$.

Se sabe que $(y^T y, X^T y)$ pair es una completa estadística suficiente para $x_0^T \beta$, para algunos de entrada de $x_0$.

Podemos concluir que $(y^T y, X^T y)$ es también una estadística suficiente para $\beta$, y por qué? Creo que para que esto funcione $X^T X$ debe ser de rango completo. Me refiero a un 1 a 1 de la transformación de una suficiente estadística es aún suficiente estadística, pero todavía es una estadística suficiente para $x_0^T \beta$. Basado en lo que vamos a concluir la suficiencia de la $\hat\beta$ para $\beta$ sí?

Answer 1

A veces la forma más sencilla de buscar la suficiencia está mirando directamente a la log-verosimilitud y utilizando el teorema de factorización. Para un modelo de regresión lineal con Gaussiano término de error de la función de verosimilitud logarítmica puede ser escrita como:

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}, \mathbf{x}}(\boldsymbol{\beta}, \sigma) &= - n \ln \sigma -\frac{1}{2 \sigma^2} || \mathbf{y} - \mathbf{x} \boldsymbol{\beta} ||^2 \\[6pt] &= - n \ln \sigma -\frac{1}{2 \sigma^2} (\mathbf{y} - \mathbf{x} \boldsymbol{\beta})^\text{T} (\mathbf{y} - \mathbf{x} \boldsymbol{\beta} ) \\[6pt] &= - n \ln \sigma -\frac{1}{2 \sigma^2} (\mathbf{y}^\text{T} \mathbf{y} - \mathbf{y}^\text{T} \mathbf{x} \boldsymbol{\beta} - \boldsymbol{\beta}^\text{T} \mathbf{x}^\text{T} \mathbf{y} + \boldsymbol{\beta}^\text{T} \mathbf{x}^\text{T} \mathbf{x} \boldsymbol{\beta} ) \\[6pt] &= - n \ln \sigma -\frac{1}{2 \sigma^2} \mathbf{y}^\text{T} \mathbf{y} -\frac{1}{2 \sigma^2} ( 2 \boldsymbol{\beta}^\text{T} \mathbf{T}_1 - \boldsymbol{\beta}^\text{T} \mathbf{T}_2 \boldsymbol{\beta} ) \\[6pt] &= h(\mathbf{x}, \mathbf{y}, \sigma) + g_\boldsymbol{\beta}(\mathbf{T}_1, \mathbf{T}_2, \sigma), \\[6pt] \end{aligned} \end{equation}$$

donde $\mathbf{T}_1 \equiv \mathbf{T}_1(\mathbf{x}, \mathbf{y}) \equiv \mathbf{x}^\text{T} \mathbf{y}$ e $\mathbf{T}_2 \equiv \mathbf{T}_2(\mathbf{x}, \mathbf{y}) \equiv \mathbf{x}^\text{T} \mathbf{x}$. Esto muestra que la estadística $\mathbf{T} \equiv (\mathbf{T}_1, \mathbf{T}_2)$ es suficiente para que el coeficiente de parámetro $\boldsymbol{\beta}$. No hay ningún requisito de que el diseño de la matriz de rango completo para la suficiencia, pero si no es de rango completo, a continuación, estas estadísticas no son mínimo suficiente (y usted obtener un mínimo suficiente de la estadística mediante la reducción de la diseño de la matriz de rango completo).

De la forma anterior, podemos ver también que el estimador OLS $\hat{\boldsymbol{\beta}}$ no es suficiente para $\boldsymbol{\beta}$. Suficiencia también requiere el conocimiento de la matriz de $\mathbf{T}_2 = \mathbf{x}^\text{T} \mathbf{x}$, que surge como parte de la covarianza del estimador MCO. Esto nos dice que, en el caso de que el diseño de la matriz es de rango completo, el estimador de MCO y su matriz de covarianza en conjunto son suficientes para el unknown coeficiente de parámetro.