¿Es ésta la metodología de regresión más avanzada?

Question

Llevo mucho tiempo siguiendo las competiciones de Kaggle y me he dado cuenta de que muchas estrategias ganadoras implican el uso de al menos uno de los "tres grandes": bagging, boosting y stacking.

En el caso de las regresiones, en lugar de centrarse en crear el mejor modelo de regresión posible, la creación de múltiples modelos de regresión, como la regresión lineal (generalizada), el bosque aleatorio, los modelos de regresión KNN, NN y SVM, y la combinación de los resultados en uno solo de forma razonable parece superar en muchas ocasiones a cada método por separado.

Por supuesto, una comprensión sólida de cada método es la clave y se puede contar una historia intuitiva basada en un modelo de regresión lineal, pero me pregunto si esto se ha convertido en la metodología de vanguardia para lograr los mejores resultados posibles.

Answer 1

Es bien sabido, al menos desde finales de 1960, que si se toman varias previsiones † y media la previsión agregada resultante superará en muchos casos a las previsiones individuales. Ensacado, refuerzo y apilado se basan exactamente en esta idea. Así que sí, si su objetivo es puramente la predicción, en la mayoría de los casos esto es lo mejor que puede hacer. Lo problemático de este método es que es un enfoque de caja negra que devuelve el resultado pero no ayuda a entenderlo e interpretarlo. Obviamente, también es más intensivo desde el punto de vista informático que cualquier otro método, ya que hay que calcular varias previsiones en lugar de una sola.

_{† Esto se refiere a cualquier <a href="https://stats.stackexchange.com/questions/65287/difference-between-forecast-and-prediction">predicciones </a>en general, pero se describe a menudo en la literatura sobre previsiones.}

---

Winkler, RL. y Makridakis, S. (1983). La combinación de previsiones. J. R. Statis. Soc. A. 146 (2), 150-157.

Makridakis, S. y Winkler, R.L. (1983). Promedios de previsiones: Algunos resultados empíricos. Ciencias de la gestión, 29 (9) 987-996.

Clemen, R.T. (1989). Combinación de previsiones: A review and annotated bibliography. Revista Internacional de Previsión, 5, 559-583.

Bates, J.M. y Granger, C.W. (1969). La combinación de previsiones. O, 451-468.

Makridakis, S. e Hibon, M. (2000). El concurso M3: resultados, conclusiones e implicaciones. Revista internacional de previsión, 16 (4), 451-476.

Reid, D.J. (1968). Combinación de tres estimaciones del producto interior bruto. Economica, 431-444.

Makridakis, S., Spiliotis, E., y Assimakopoulos, V. (2018). El concurso M4: Resultados, conclusiones y camino a seguir. Revista Internacional de Previsión.

Answer 2

Arthur (1994) tiene un bonito y breve artículo/experimento de reflexión muy conocido en la literatura de la complejidad.

Una de las conclusiones es que los agentes no pueden seleccionar mejores modelos predictivos (aunque dispongan de un "bosque" de ellos) en condiciones de no equilibrio. Por ejemplo, si la cuestión se aplica al rendimiento del mercado bursátil, podría aplicarse el escenario de Arthur (1994).