Hace un árbol de regresión estrictamente dominar OLS en la predicción?

Question

Desde OLS trata de medir E[Y|X], y los árboles de regresión tratar de partición de los datos en diferentes ramas, a continuación, tomar el medio de la respuesta en diferentes ramas, es razonable decir que los árboles de regresión estrictamente dominar OLS en la predicción? También, desde OLS no es robusto a los valores atípicos, sería razonable decir que los árboles de regresión son una mejor primera, off-the-shelf algoritmo que probar en un problema de predicción?

Para la interpretación, que sin duda tiene sentido para mí que saber $R^2$, los coeficientes de regresión, los valores de p, etc. son más útiles que ver la estructura de árbol.

Answer 1

No hay árboles de Regresión no dominan regresión por MCO. De regresión OLS está diseñado para modelos donde se desea estimar la $E[Y|X]$ donde $X$ es un conjunto de predictores y los residuos del modelo son continuos y Gaussiano con media de $0$. En virtud de que el establecimiento de la OPERACIÓN debe ser superior a la del árbol de regresión. Recuerde que el modelo de regresión toma acoount de el valor de la covariable mientras que el árbol de divisiones o particiones en segmentos discretos y por lo tanto no utilizar plenamente toda la información en los datos que no sean para uso a encontrar los mejores lugares para dividir. Por otra parte, cuando hay valores atípicos o el componente residual no es muy normal la regresión por MCO pone demasiado peso en los valores extremos y puntos de apalancamiento y el árbol de regresión o un sólido de regresión lineal puede hacer mucho mejor. También a pesar de que usted puede ser más cómodo con $R^2$, $p$-los valores y los coeficientes de regresión de uno de los importnat puntos sobre el CARRO que Richard Olshen señalado en el CARRO libro es que cuando se aplica árboles de clasificación y regresión a los problemas médicos de los médicos encontraron el árbol de estructura muy intuitiva y más creíble que una regresión lineal o el análisis discriminante lineal.