¿Cómo se demuestra la normalidad asintótica de los mínimos cuadrados no lineales a partir de condiciones de primer orden?

Question

Nuestro modelo es $Y=X(\beta_0)+u$ donde $u\sim IID(0,\sigma_0^2I)$ y $X(\beta)$ es una función no lineal de la beta.

Al intentar minimizar el $SSR(\beta)$ obtenemos la siguiente FOC:

$\nabla X(\beta)^T(Y-X(\beta))=0$ donde $\nabla X(\beta)$ es el gradiente.

¿Cómo se demuestra la normalidad asintótica de $\hat\beta$ de este BDC?

Agradecería cualquier ayuda.

Edita:

Si aplicamos una expansión taylor de primer orden a cada componente $X_t(\beta)$ de $X(\beta)$ obtenemos $X_t(\beta)=X_t(\beta_0)+\nabla X(\bar\beta_{(t)})^T(\beta-\beta_0)$ donde $\bar\beta_{(t)}$ es un punto del segmento de recta que une $\beta$ y $\beta_0$ . Este punto puede ser diferente para cada expansión taylor que hagamos, y por eso está indexado por $t$ .

Inserción de la expansión taylor en el BDC: $n^{(-1/2)}(\nabla X(\beta)^T(u-\nabla \bar X^T(\beta-\beta_0))=0$ donde $\nabla \bar X$ es la matriz con $\nabla X(\bar\beta_{(i)})$ como cada columna i-ésima.

¿Son correctos todos los cálculos anteriores? Lo pregunto porque en este Libro los autores afirman en la página 225 que deberíamos obtener un término con segundas derivadas de $X(\beta)$ ... No entiendo por qué es esto.

Agradecería cualquier ayuda

Answer 1

La condición de primer orden es $$ g(b):=\frac{\partial S(\beta)}{\partial \beta}\bigg|_{\beta=b}=0 $$ por construcción, ya que definimos $b$ como solución (podemos suponer aquí mínimo único, espacio de parámetros agradable). Sea $\beta_0$ sea el valor verdadero y $\bar\beta$ un vector con elementos que cumplen $\bar{\beta}_i\in [\min\{b_i, \beta_{0, i}\}, \max\{b_i, \beta_{0, i}\}]$ . Entonces $$ g(b)=g(\beta_0)+\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\bar\beta}(b-\beta_0)=0. $$ Tenga en cuenta que $$ \frac{\partial g(\beta)}{\partial \beta}\bigg|_{\beta=\bar\beta}=\frac{\partial^2 S(\beta)}{\partial \beta\partial\beta'}\bigg|_{\beta=\bar\beta} $$ a $p\times p$ (donde $p$ es la longitud de $\beta$ ). Reordena los términos \begin{align} g(\beta_0)+\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\bar\beta}(b-\beta_0)&=0\\ \left(\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\bar\beta}\right)^{-1}g(\beta_0)+(b-\beta_0)&=0\\ \sqrt n(b-\beta_0)&=-\left(n^{-1}\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\bar\beta}\right)^{-1}\frac{1}{\sqrt{n}}g(\beta_0) \end{align}

Normalmente, se supone que \begin{align} n^{-1}\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\beta_0}&\overset{p}\to Q \, (\text{pos. def.})\\ \frac{1}{\sqrt{n}}g(\beta_0) & \overset{d}{\to} N(0, \sigma^2Q). \end{align} Desde $\bar{\beta}$ se intercala entre $b$ y $\beta_0$ y $b\overset{p}{\to}\beta_0$ podemos sustituir la evaluación en $\bar\beta$ por $\beta_0$ en el análisis asintótico. Por el teorema de la cartografía continua, la inversa de la matriz de segundas derivadas tenderá a $Q^{-1}$ y por el teorema de Slutsky la distribución asintótica de $\sqrt{n}(b-\beta_0)$ es la misma que la de \begin{align} -\left(n^{-1}\frac{\partial g(\beta)}{\partial \beta'}\bigg|_{\beta=\beta_0}\right)^{-1}\frac{1}{\sqrt{n}}g(\beta_0) \overset{d}{\to} N(0, \sigma^2Q^{-1}QQ^{-1})=N(0, \sigma^2Q^{-1}). \end{align}