Regresión lineal múltiple para las pruebas de hipótesis

Question

Estoy familiarizado con el uso de regresión lineal múltiple para crear modelos de diversas variables. Sin embargo, tenía curiosidad si las pruebas de regresión se ha usado Por hacer ningún tipo de pruebas básicas hipótesis. Si es así, ¿cuáles serían esos escenarios / hipótesis parece?

Answer 1

Aquí está un ejemplo sencillo. No sé si estás familiarizado con R, pero esperemos que el código es suficientemente explicativo.

set.seed(9)        # this makes the example reproducible
N = 36
    # the following generates 3 variables:
x1 =     rep(seq(from=11, to=13),           each=12)
x2 = rep(rep(seq(from=90, to=150, by=20),   each=3 ), times=3)
x3 =     rep(seq(from=6,  to=18,  by=6 ),  times=12)
cbind(x1, x2, x3)[1:7,]    # 1st 7 cases, just to see the pattern
      x1  x2 x3
 [1,] 11  90  6
 [2,] 11  90 12
 [3,] 11  90 18
 [4,] 11 110  6
 [5,] 11 110 12
 [6,] 11 110 18
 [7,] 11 130  6 
    # the following is the true data generating process, note that y is a function of
    #   x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
    #   & that x2 tends to have less influence on the response variable than x1:
y  = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)

reg.Model = lm(y~x1+x2+x3)    # fits a regression model to these data

Ahora, vamos a ver lo que este se ve como:

. . . 
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -1.76232   27.18170  -0.065  0.94871   
x1           3.11683    2.09795   1.486  0.14716   
x2           0.21214    0.07661   2.769  0.00927 **
x3           0.17748    0.34966   0.508  0.61524   
---
Signif. codes:  0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1 
. . . 
F-statistic: 3.378 on 3 and 32 DF,  p-value: 0.03016 

Podemos centrarnos en los "Coeficientes" de la sección de la salida. Cada uno de los parámetros estimados por el modelo tiene su propia fila. El real de la estimación de sí mismo aparece en la primera columna. La segunda columna muestra los Errores Estándar de las estimaciones, es decir, una estimación de cuánto estima que 'rebote' de muestra a muestra, si tuviéramos que repetir este proceso una y otra y otra vez. Más específicamente, se trata de una estimación de la desviación estándar de la distribución muestral de la estimación. Si dividimos cada uno de los parámetros a estimar por su SE, obtenemos un t-score, que aparece en la tercera columna; este se utiliza para la prueba de hipótesis, específicamente para probar si la estimación del parámetro es " significativamente diferente de 0. La última columna es el p-valor asociado con la que el t-score. Es la probabilidad de encontrar un valor estimado que ahora o más de 0, si la hipótesis nula fuera cierta. Tenga en cuenta que si la hipótesis nula no es cierto, no está claro que este valor nos está diciendo algo con sentido en absoluto.

Si miramos hacia atrás y adelante entre los Coeficientes de la tabla y los datos verídicos proceso de generación de arriba, podemos ver un par de cosas interesantes. La intercepción se estima -1.8 y de sus SE encuentra a 27, mientras que el valor real es de 15. Porque los asociados p-valor es de .95, no sería considerado " significativamente diferentes de 0 (un error de tipo II), pero es, no obstante, dentro de uno SE de el verdadero valor. Por tanto no hay nada terriblemente extremo acerca de esta estimación desde la perspectiva de que el verdadero valor y la cantidad que se debe fluctuar; nosotros simplemente no tienen suficiente poder para diferenciarlos de 0. La misma historia se mantiene, más o menos, para x1. Analistas de datos normalmente se podría decir que ni siquiera es la 'marginalmente significativa' porque el p-valor es >.10, sin embargo, este es otro error de tipo II. La estimación de x2 es del todo exacto $.21214\approx.2$, y el p-valor es 'muy importante', una decisión correcta. x3 también podría no ser diferenciada de 0, p=.62, otra decisión correcta (x3 no se muestra en la verdad de los datos de proceso de generación de más arriba). Curiosamente, el p-valor es mayor que el de los x1, pero menos que la de la intersección, ambos de los cuales son de tipo II errores. Finalmente, si miramos por debajo de los Coeficientes de la tabla vemos que el valor F para el modelo, que es un simultánea de la prueba. Esta prueba comprueba para ver si el modelo como un todo predice la variable de respuesta mejor que la casualidad. Otra forma de decir esto, es si o no todas las estimaciones deben ser considerados no puede ser diferenciada de 0. Los resultados de esta prueba sugiere que al menos algunas de las estimaciones de los parámetros no son iguales a 0, antera decisión correcta. Dado que hay 4 pruebas anteriores, tendríamos ninguna protección contra el problema de las comparaciones múltiples sin este. (Tenga en cuenta que debido a que los valores de p son variables aleatorias--si algo es importante varían de experimento a experimento, si el experimento se vuelva a ejecutar--es posible que estos sean incompatibles el uno con el otro. Esto se discute en la CV aquí: la Significación de los coeficientes de regresión múltiple: un t-test vs no significativo de la estadística F, y la situación opuesta aquí: ¿Cómo puede una regresión de ser significativo, sin embargo, de todos los predictores no es significativa, y aquí: F y t de estadísticas de regresión.) Quizás curiosamente, no hay errores de tipo I en este ejemplo. En cualquier caso, todos los 5 de las pruebas que se mencionan en este párrafo son las pruebas de hipótesis.

A partir de tu comentario, deduzco que también puede preguntarse acerca de cómo determinar si una variable explicativa es más importante que otro. Esta es una pregunta muy común, pero es bastante complicado. Imagine querer predecir el potencial para el éxito en un deporte basado en un atleta de la altura y el peso, y me preguntaba que es más importante. Una estrategia común es mirar a ver en que se calcula el coeficiente es mayor. Sin embargo, estas estimaciones son específicos a las unidades que fueron utilizados: por ejemplo, el coeficiente de peso cambiará dependiendo de si libras o kilogramos, se utilizan. Además, no es en absoluto claro cómo equiparar / comparar libras y pulgadas, o en kilogramos y centímetros. Una estrategia que las personas utilizan para estandarizar (es decir, se convierten en puntuaciones z) de sus datos por primera vez. A continuación, estas dimensiones son en unidades comunes (viz., desviaciones estándar), y los coeficientes son similares a r-puntuaciones. Además, es posible probar si una r-score es mayor que otro. Por desgracia, esto no salir de los bosques; a menos que la verdadera r es exactamente 0, la estimación de r es impulsado en gran parte por el rango de valores de la covariable que se utilizan. (No sé cómo de fácil será reconocer, pero @whuber excelente respuesta aquí: Es $R^2$ útil o peligroso, ilustra este punto; a ver, sólo pensar en cómo $r=\sqrt{r^2}$.) Por lo tanto, la mejor que se puede decir es que la variabilidad de una variable explicativa dentro de un intervalo especificado es más importante para determinar el nivel de la respuesta de la variabilidad en la otra variable explicativa dentro de otro rango especificado.

Answer 2

La prueba esencial en los modelos de regresión es la Completa Reducción de prueba. Aquí es donde se comparan 2 modelos de regresión, el modelo Completo tiene todos los términos y la Reducción de la prueba tiene un subconjunto de esos términos (el modelo Reducido se tiene que estar anidado en el modelo Completo). La prueba, a continuación, comprueba la hipótesis nula de que el modelo reducido se adapta tan bien como el modelo completo y cualquier diferencia se debe a la casualidad.

Común las impresiones del software estadístico incluyen un general de la prueba de F, esto es sólo la Completa Reducción de prueba donde la reducción de la prueba es una intercepción único modelo. También a menudo la impresión de un p-valor para cada predictor, esto es sólo una serie de Full-modelo Reducido de pruebas, en cada una el modelo reducido no incluir ese término específico. Hay muchas maneras de utilizar estas pruebas para responder a preguntas de interés. De hecho, casi todos los test que se enseña en una introductorio estadísticas de curso pueden ser calculadas mediante modelos de regresión y la Completa Reducción de la prueba y los resultados serán idénticos en muchos casos y muy cerca de aproximación en el par de los demás.