Número mínimo de observaciones para la regresión lineal múltiple

Question

Estoy haciendo regresión lineal múltiple. Tengo 21 observaciones y 5 variables. Mi objetivo es simplemente encontrar la relación entre las variables

1. ¿Mi conjunto de datos es suficiente para hacer regresión múltiple?

2. El resultado de la prueba t reveló que 3 de mis variables no son significativas. ¿Necesito hacer mi regresión nuevamente con las variables significativas (o es suficiente mi primera regresión para obtener una conclusión)? Mi matriz de correlación es la siguiente

          var 1   var 2    var 3   var 4   var 5     Y
   var 1   1.0     0.0       0.0   -0.1    -0.3    -0.2
   var 2   0.0     1.0       0.4    0.3    -0.4    -0.4
   var 3   0.0     0.4       1.0    0.7    -0.7    -0.6
   var 4  -0.1     0.3       0.7    1.0    -0.7    -0.9
   var 5  -0.3    -0.4      -0.7   -0.7    1.0      0.8
   Y      -0.2    -0.4      -0.6   -0.9    0.8      1.0

var 1 y var 2 son variables continuas y var 3 a la 5 son variables categóricas y y es mi variable dependiente.

Debe mencionarse que la variable importante considerada en la literatura como el factor más influyente en mi variable dependiente tampoco está entre mis variables de regresión debido a la limitación de mis datos. ¿Tiene sentido hacer la regresión sin esta variable importante?

aquí está mi intervalo de confianza

    Variables   Coeficiente de Regresión  Límite inferior 95%  Límite superior 95%
    Intercepto   53.61                       38.46        68.76
    var 1       -0.39                      -0.97         0.19
    var 2       -0.01                      -0.03         0.01
    var 3        5.28                      -2.28         12.84
    var 4       -27.65                     -37.04       -18.26
    **var 5      11.52                      0.90         22.15**

Answer 1

La regla general (basada en información del libro de Frank Harrell, Estrategias de Modelado de Regresión) es que si esperas poder detectar efectos de tamaño razonable con poder razonable, necesitas 10-20 observaciones por parámetro (covariable) estimado. Harrell discute muchas opciones para la "reducción de dimensiones" (reducir el número de covariables a un tamaño más razonable), como PCA, pero lo más importante es que para tener confianza en los resultados la reducción de dimensiones debe hacerse sin mirar la variable de respuesta. Volver a hacer la regresión solo con las variables significativas, como sugieres arriba, es en casi todos los casos una mala idea.

Sin embargo, dado que estás atrapado con un conjunto de datos y un conjunto de covariables en los que estás interesado, no creo que correr la regresión múltiple de esta manera sea inherentemente incorrecto. Creo que lo mejor sería aceptar los resultados tal como son, del modelo completo (no olvides mirar las estimaciones de los puntos y los intervalos de confianza para ver si los efectos significativos se estiman como "grandes" en algún sentido del mundo real, y si los efectos no significativos realmente se estiman como más pequeños que los efectos significativos o no).

En cuanto a si tiene sentido hacer un análisis sin el predictor que tu campo considera importante: no lo sé. Depende de qué tipo de inferencias quieras hacer basadas en el modelo. En un sentido estrecho, el modelo de regresión sigue estando bien definido ("¿cuáles son los efectos marginales de estos predictores en esta respuesta?"), pero alguien en tu campo podría decir con razón que el análisis simplemente no tiene sentido. Ayudaría un poco si supieras que los predictores que tienes no están correlacionados con el predictor bien conocido (sea cual sea), o que el predictor bien conocido es constante o casi constante para tus datos: entonces al menos podrías decir que algo distinto al predictor bien conocido tiene un efecto en la respuesta.

Answer 2

La respuesta a la pregunta general es que depende de muchos factores, siendo los principales (1) número de covariables (2) varianza de las estimaciones y residuos. Con una muestra pequeña, no tienes mucha potencia para detectar una diferencia de 0. Por lo tanto, deberías mirar la varianza estimada de los parámetros de regresión. Según mi experiencia con la regresión, 21 observaciones con 5 variables no son suficientes datos para descartar variables. Por lo tanto, no deberías ser tan rápido para descartar variables ni enamorarte demasiado de las que parecen significativas. La mejor respuesta es esperar hasta tener muchos más datos. A veces es fácil decirlo pero difícil de hacer. Deberías mirar la regresión paso a paso, hacia adelante y hacia atrás solo para ver qué variables se seleccionan. Si las covariables están altamente correlacionadas, esto puede mostrar conjuntos de variables muy diferentes siendo seleccionados. Haz un bootstrap del procedimiento de selección de modelos, ya que será revelador en cuanto a la sensibilidad de la selección de variables a cambios en los datos. Deberías calcular la matriz de correlación para las covariables. Tal vez Frank Harrell opine sobre esto. Es un verdadero experto en la selección de variables. Creo que al menos estará de acuerdo conmigo en que no deberías elegir un modelo final basado únicamente en estos 21 puntos de datos.