Tras releer su pregunta, creo que se refiere a la selección del modelo entre las variables predictoras candidatas, y no a la ejecución de todas las regresiones posibles. El ajuste de todos los modelos posibles a partir de un conjunto determinado de predictores está sujeto a un alto grado de sesgo de minería de datos. Dado que muchos de esos submodelos estarán muy correlacionados entre sí (porque incluyen casi en su totalidad el mismo conjunto de factores), usted podría necesitas ajustar tus estadísticas t para tener en cuenta la probabilidad de que, entre todo el conjunto de modelos correlacionados, algunos modelos tengan éxito al azar dentro de los datos de muestra concretos que se tienen. Ajustar para tantos modelos implicaría que necesitaría un estadístico t irrealmente alto para tener alguna confianza en los coeficientes del modelo que finalmente seleccione.
Algunos enfoques mejores podrían ser Regresión lineal bayesiana donde se especifica qué distribución a priori se considera realista para el coeficiente de cada uno de los predictores, o una regresión regularizada como Lazo o Cresta donde se impone algún término de penalización por lo denso o grande que sea el conjunto de coeficientes estimados (por ejemplo, el procedimiento de ajuste intentará favorecer los modelos con menos términos en un sentido adecuado).
Si se parte de una de estas perspectivas, entonces hay menos riesgo en probar un par de modelos que se cree que tienen pruebas previas sólidas.
Pero, en general, si nos limitamos a examinar todos los subconjuntos de factores n-elegidos-k, para k = 1 hasta n, por simple azar, algún modelo parecerá muy sólido, pero no debido a la eficacia real de la previsión. Hay que evitarlo.
