Significado de los valores de p en regresión

Question

Al realizar una regresión lineal en algunos paquetes de software (por ejemplo Mathematica), me sale de la p-valores asociados con cada uno de los parámetros en el modelo. Por, ejemplo los resultados de una regresión lineal que produce un resultado de $ax+b$ se tiene un p-valor asociado con $un$ y uno con $b$.

1. ¿Qué hacen estos valores de p significa de forma individual sobre esos parámetros?

2. Es allí una manera general para calcular los parámetros para cualquier modelo de regresión?

3. Puede que el p-valor asociado con cada uno de los parámetros se combinan en un p-valor para el conjunto de la modelo?

Para mantener esta pregunta matemática en la naturaleza, estoy buscando sólo la interpretación de los valores de p en términos de probabilidades.

Answer 1

1. El p-valor de $a$ es el valor de p en una prueba de la hipótesis "$\alpha = 0$" (generalmente un 2 caras $t$-test). El p-valor $b$ es el valor de p en una prueba de la hipótesis "$\beta = 0$" (también suele ser un 2 caras $t$-test) y lo mismo para cualquier otro de los coeficientes de la regresión. Los modelos de probabilidad para estas pruebas se determina por el que asume el modelo de regresión lineal. Para la regresión lineal de mínimos cuadrados, el par ($a,b$) sigue una distribución normal bivariante centrado en los verdaderos valores de los parámetros ($\alpha, \beta$), y la prueba de hipótesis para cada coeficiente es equivalente a $t$-probar si $\alpha = 0$ (resp. $\beta=0$) a partir de las muestras a partir de una apropiada distribución normal [de una variable, es decir, de la distribución de $un$ o $b$]. Los detalles de que las distribuciones normales aparecen son algo complicados y la participación de "grados de libertad" y "sombrero de matrices" (basado en la notación $\hat{A}$ para algunas de las matrices que constantemente aparecen en la teoría de la regresión OLS).

2. Sí. Generalmente se realiza (y define) por la Estimación de Máxima Verosimilitud. Por MCO de la regresión lineal y un pequeño número de otros modelos que hay fórmulas exactas para la estimación de los parámetros a partir de los datos. Para obtener más general de las regresiones de las soluciones son iterativos y numéricos en la naturaleza.

3. No directamente. Un p-valor es calculado por separado para una prueba de todo el modelo, es decir, una prueba de la hipótesis de que todos los coeficientes (de las variables que se presume que en realidad varían, de modo que no se incluye el coeficiente de la "constante término" si es que la hay). Pero este valor de p no puede generalmente ser calculado a partir del conocimiento de los p-valores de los coeficientes.

Answer 2

respecto a tu primera pregunta: esto depende de su software de su elección. Hay realmente dos tipos de valores de p que se utilizan con frecuencia en estos escenarios, por lo general basada en pruebas de razón de verosimilitud (hay otros, pero estos suelen ser equivalente o, al menos, difieren poco en sus resultados).

Es importante darse cuenta de que todos estos valores de p son condicional en (parte de) el resto de los parámetros. Que significa: Suponiendo que (algunos de) los demás estimaciones de los parámetros son correctos, probar si es o no el coeficiente para un parámetro es cero. Normalmente, la hipótesis nula para estas pruebas es que el coeficiente es igual a cero, por lo que si usted tiene un pequeño valor de p, que significa (condicionalmente en el valor de los otros coeficientes) que el coeficiente no es probable que ser cero.

El tipo I de pruebas para la zeroness de cada coeficiente condicionalmente en el valor de los coeficientes que antes en el modelo (de izquierda a derecha). Tipo III pruebas (marginal pruebas), la prueba para la zeroness de cada coeficiente condicional en el valor de todos los demás coeficientes.

Diferentes herramientas de presentar diferentes valores de p como el valor predeterminado, aunque normalmente tiene formas de obtención de ambos. Si usted no tiene una razón fuera de las estadísticas para incluir los parámetros en un poco de orden, que será en general interesado en el tipo III resultados de la prueba.

Por último (en lo que concierne más a tu última pregunta), con un cociente de probabilidad de la prueba siempre se puede crear una prueba para cualquier conjunto de coeficientes condicional en el resto. Este es el camino a seguir si usted desea probar para varios coeficientes son cero al mismo tiempo (de lo contrario ejecutar en algunos desagradables pruebas múltiples problemas).