No paramétrico de estimación de regresión para la distribución condicional

Question

Contexto : una variable continua $Y$ depende de $X$ ($X$ puede ser cualquier cosa)

La regresión lineal, modelo lineal generalizado... se centran en la estimación de la esperanza condicional $E(Y\mid X)$. Me quiero centrar en la estimación de la distribución condicional.

La regresión lineal puede ser visto como un modelo paramétrico para la distribución condicional: $Y\mid X\hookrightarrow \mathcal{N}(X\beta,\sigma^2)$ con el parámetro $\beta$. Se supone que, dada $X$, $Y$ tiene una distribución normal.

Estoy buscando métodos donde la distribución de la $Y$ $X$ no se supone que pertenecen a un predefinidos de la familia de distribuciones : tener una cierta regularidad y tal vez vagamente una cierta forma. Cómo esta distribución se asume para cambiar al $X$ cambios es algo que puede ser predefinidos o no. Por supuesto, esto puede requerir un buen montón de datos de entrenamiento.

Para los que no condicional distribuciones (sólo la distribución de $Y$, no es $X$), sé un método sencillo : estimador de densidad de kernel.

¿Qué métodos existen para el condicional caso ?

Answer 1

En un contexto de series de tiempo que usted puede tomar un vistazo a la no-paramétrico de la distribución predictiva, la estimación de $p(X_{t+1} \mid X_t, X_{t-1}, \ldots)$. Para esto sugiero mirar duro LICORES, mezcla de LICORES, LICORES gabinete, y el espacio de Hilbert incrustaciones de predicción del estado de representaciones -- a nombre de una pareja (descargo de responsabilidad: he estado trabajando en los 2 primeros.)

Como un puro marco de regresión, acabo de terminar de trabajar en la "Predicción del Estado de Suavizado (PRENSA): Escalable no paramétrico de regresión para datos de alta dimensión con selección de variables", lo que hace que casi ninguna hipótesis sobre las distribuciones de $y \mid \mathbf{X}$ y se estima una óptima Núcleo más suave. Como otros ya han señalado npreg o de otro núcleo más suave implementaciones, quiero destacar que la PRENSA no sufren la maldición de la dimensionalidad. En el artículo se muestran ejemplos de un núcleo más suave para un $\mathbf{X} \in R^{60,000 \times 784}$, es decir, $784$ covariables con $N = 60,000$ observaciones. La PRENSA puede estimar el kernel smoothing matriz para que dentro de un par de segundos. Tradicional núcleo suavizadores romper (o simplemente no funcionan) para más de una pareja (5-ish) dimensiones.