Estimación de error estándar de los parámetros del modelo lineal equipado con descenso de gradiente

Question

Dado un modelo lineal

$$y = X\beta + \epsilon$$

podemos estimar los parámetros de $\hat{\beta}$ el uso de dos diferentes maneras - de mínimos cuadrados ordinarios (OLS) y gradiente de la pendiente (GD). Ambos de ellos se reducen a minimizar el error cuadrático medio (MSE) por encontrar a su mínimo global. La diferencia es que mientras OLS encuentra la solución exacta, GD, de manera iterativa, enfoques, pero nunca puede encontrar la respuesta exacta.

Por OLS hemos conjunto habitual de las estimaciones de los parámetros, en particular la mayoría de error estándar $SE(\hat{\beta})$. Pero en algunos casos OLS no es una opción (por ejemplo, la matriz de datos es demasiado grande), así que tenemos que usar GD.

Estoy tratando de averiguar:

1. ¿Tiene sentido en el que todos SE aplican a los parámetros aprendido mediante gradiente de la pendiente?
2. Si es así, ¿cómo podemos calcularlo? Hacer otro dependiente cosas como t-estadística y la significación de la prueba de tomar la forma habitual?
3. ¿Qué acerca de la estocástico de gradiente de la pendiente (SGD)? Hay alguna esperanza para evaluar sus parámetros?

---

Para el común de referencia:

• ¿Cómo son los errores estándar de los coeficientes calculados en una regresión? [MCO]

Answer 1

He encontrado que bootstrap da estimaciones que son bastante cercanos a los de la OPERACIÓN, sino que, literalmente, cualquier algoritmo de entrenamiento.

Bootstrap es un tipo de método de Monte Carlo y casi se reduce a la toma de muestras repetidas con la sustitución del conjunto de datos original y la recogida de los valores de un objetivo de la estadística. Tener un conjunto de valores estadísticos, resulta trivial para calcular su media y el error estándar. G. James et al. proporcionar evidencia experimental de la cercanía de la OPERACIÓN y arranque de los resultados. Sin más explicación, me voy a dar un enlace a su excelente trabajo (vea las páginas 187-190 para el bootstrap explicación y 195-197 para experimentos):

• G. James et al. Una introducción a la Estadística de Aprendizaje

Answer 2

Gradiente descent(ascent) es un proceso iterativo generalmente empleado durante la aproximación de la función para resolver los parámetros de una función no lineal. OLS totalmente implica sistemas de ecuaciones lineales que son estrictamente aditivos y multiplicative no basado en competencias, log(), exp(), etcetera. Así, OLS no necesita resolverse iterativamente, y solamente una solo matriz operación, es decir, $\boldsymbol{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$, se requiere para la obtención de los coeficientes.