Auto-estudio del modelo lineal normal: ¿qué puedo hacer con él?

Question

Actualmente estoy auto-estudio de la normal modelo lineal ($X_i \sim N(A \beta, \sigma^2I)$), y han aprendido sobre la estimación de las $\beta$$\sigma^2$, pruebas de ciertos tipos de hipótesis (aunque no demasiado complicado), la creación de los intervalos de confianza, y hacer predicciones (mi estudio ha sido mathemathically riguroso, de manera que aunque la mayoría de estas cosas se explican en los cursos básicos, a mi entender es bastante profundo).

Mi pregunta es, ¿qué viene "siguiente" en este marco? Debo pasar a otras partes de estadísticas, se centran en otros modelos con diferentes distribuciones, o hay todavía más profundidad en la instalación normal? Estoy teniendo un tiempo difícil averiguar qué más puedo salir de esta, otras de las cosas que ya he mencionado.

Answer 1

Esto no significa de ninguna manera autoritaria, pero esperemos que le da un lugar para empezar.

Usted ha estudiado el modelo de $Y = X\beta + \varepsilon$$\varepsilon \sim \mathcal N(0, \sigma^2 I)$.

Hay muchas extensiones de este modelo. Algunos son:

1. Explorar los diferentes supuestos en $\varepsilon$. Tal vez usted sólo suponga $E(\varepsilon) = 0$, $Var(\varepsilon) = D$. ¿Qué sucede si $D \neq \sigma^2 I_n$? Si $D$ es diagonal usted puede obtener mínimos cuadrados ponderados; si $D$ no es ni siquiera en diagonal, a continuación, puede utilizar generalizada de los mínimos cuadrados. También, ¿qué pasa si $\varepsilon$ ha especificado, pero no las distribuciones normales (Laplace, por ejemplo)? Este resulta ser estrechamente relacionados a la consideración de la pérdida de otras funciones que el cuadrado de la pérdida.
2. Considere la posibilidad de otras distribuciones de $Y_i$. Esto puede conducir a GLMs
3. Explorar penalizado regresiones. Esta es un área grande. Me gustaría empezar con el lazo y la regresión ridge.
4. Cresta de regresión y el lazo de involucrar a los parámetros de ajuste. Esto los lleva a aprender acerca de la validación cruzada. O tal vez usted prefiere usar los criterios de información como el AIC y BIC. Hay mucho para estudiar aquí, como exactamente dónde vienen y asintótico de las relaciones con los diferentes tipos de cruz validaciones. Pruebas de significación también se pone difícil. Tal vez usted tendrá que usar el proceso de arranque más a menudo.
5. Cresta de regresión y el lazo también han Bayesiano interpretaciones. Esto puede llevar a que va toda Bayesiano y la investigación de los efectos de varios de los priores y modelos multinivel. Esto puede requerir el uso de MCMC que es una gran cosa en sí y de por sí.
6. Muy estrechamente relacionado con el punto anterior es el encantador mundo de los modelos de efectos mixtos, que es también muy estrechamente relacionado con generalizada de los mínimos cuadrados
7. Tal vez tienes continuo predictores y desea utilizar polinomios en ellos, pero no te gusta global de polinomios. Usted puede considerar la base de los métodos de expansión como estrías. Yo sugeriría que usted echa un vistazo a los Elementos de Aprendizaje Estadístico (disponible gratuitamente en internet).
8. A partir de aquí se podría estudiar métodos del núcleo en general; esto incluye métodos como la máquina de soporte vectorial.

Ahora tenemos a una simple interpretables herramientas como iid normal-los errores de la regresión lineal no paramétrica de métodos flexibles como SVM, y muchas cosas en el medio.