34 votos

Prueba de que el estadístico F de la siguiente manera F-distribución

A la luz de esta pregunta : la Prueba de que los coeficientes en un modelo OLS sigue una distribución t con (n-k) grados de libertad

Me gustaría entender por qué

F=(TSSRSS)/(p1)RSS/(np),F=(TSSRSS)/(p1)RSS/(np),

donde pp es el número de parámetros del modelo y nn el número de observaciones y TSSTSS de la varianza total, RSSRSS de la varianza residual, sigue a un Fp1,npFp1,np distribución.

Debo admitir que aún no he intentado probarlo ya que yo no sabría por dónde empezar.

35voto

Christoph Hanck Puntos 4143

Vamos a mostrar el resultado para el caso general de que su fórmula para el estadístico de prueba es un caso especial. En general, tenemos que comprobar que la estadística puede ser, de acuerdo a la caracterización de la FF distribución, ser escrito como la proporción de independientes χ2χ2 r.v.s dividida por sus grados de libertad.

Deje H0:Rβ=rH0:Rβ=r RR rr conocido, aleatoria y R:k×qR:k×q total columna de rango de qq. Esto representa el qq lineal restricciones para (a diferencia de la OPs en la notación) kk regresores incluidos el término constante. Así, en @user1627466 ejemplo, p1p1 corresponde a la q=k1q=k1 restricciones de configuración de todos los coeficientes de pendiente a zerol.

En vista de Var(ˆβols)=σ2(XX)1Var(^βols)=σ2(XX)1, tenemos R(ˆβolsβ)N(0,σ2R(XX)1R), así que (con B1/2={R(XX)1R}1/2 ser una "matriz de la raíz cuadrada" de B1={R(XX)1R}1, a través de, por ejemplo, una descomposición de Cholesky) n:=B1/2σR(ˆβolsβ)N(0,Iq), como Var(n)=B1/2σRVar(ˆβols)RB1/2σ=B1/2σσ2BB1/2σ=I donde la segunda línea se utiliza la varianza de la OLSE.

Este, como se muestra en la respuesta de que el vínculo (ver también aquí), es independiente de la d:=(nk)ˆσ2σ2χ2nk, donde ˆσ2=yMXy/(nk) es el habitual insesgados de varianza de error de la estimación, con MX=IX(XX)1X es el "residual maker matriz" de la regresión en X.

Así que, como nn es una forma cuadrática en las normales, χ2qnn/qd/(nk)=(ˆβolsβ)R{R(XX)1R}1R(ˆβolsβ)/qˆσ2Fq,nk. En particular, en H0:Rβ=r, esto se reduce a la estadística F=(Rˆβolsr){R(XX)1R}1(Rˆβolsr)/qˆσ2Fq,nk.

Por ejemplo, consideremos el caso especial R=I, r=0, q=2, ˆσ2=1 y XX=I. A continuación, F=ˆβolsˆβols/2=ˆβ2ols,1+ˆβ2ols,22, la distancia Euclídea al cuadrado de la estimación OLS desde el origen normalizado por el número de elementos, destacando que, desde ˆβ2ols,2 son cuadrados estándar normales y, por tanto,χ21, F distribución puede ser visto como un "promedio χ2 distribución.

En caso de que prefiera un poco de simulación (que por supuesto no es una prueba de ello!), en la que el valor null es prueba de que ninguno de los k regresores de la materia - que de hecho no, de manera que podemos simular la nula distribución.

enter image description here

Vemos a un muy buen acuerdo entre los teóricos de la densidad y el histograma de Monte Carlo de la estadística de prueba.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

Para ver que las versiones de la prueba estadística de la pregunta y la respuesta son de hecho equivalentes, tenga en cuenta que el valor null corresponde a las restricciones de R=[0I]r=0.

Deje X=[X1X2] ser dividido según la cual los coeficientes se limita a ser cero en el null (en su caso, todas excepto la constante, pero la derivación a seguir es general). También, vamos a ˆβols=(ˆβols,1,ˆβols,2) ser la adecuada con particiones estimación OLS.

A continuación, Rˆβols=ˆβols,2 y R(XX)1R˜D, la parte inferior derecha del bloque de (XTX)1=(X1X1X1X2X2X1X2X2)1(˜A˜B˜C˜D) Ahora, el uso de los resultados para particiones inversos para obtener ˜D=(X2X2X2X1(X1X1)1X1X2)1=(X2MX1X2)1 donde MX1=IX1(X1X1)1X1.

Por lo tanto, el numerador de la F estadística se convierte en (sin la división por q) Fnum=ˆβols,2(X2MX1X2)ˆβols,2 Siguiente, recordemos que por la Frisch-Waugh-Lovell teorema podemos escribir ˆβols,2=(X2MX1X2)1X2MX1y así que Fnum=yMX1X2(X2MX1X2)1(X2MX1X2)(X2MX1X2)1X2MX1y=yMX1X2(X2MX1X2)1X2MX1y

Queda por demostrar que esta numerador es idéntica a USSRRSSR, la diferencia en la restringidas y no restringidas suma de los cuadrados de los residuos.

Aquí, RSSR=yMX1y es la suma residual de los cuadrados de la regresión de yX1, es decir, con H0 impuesto. En su caso particular, esto es sólo TSS=i(yiˉy)2, los residuos de una regresión en una constante.

Utilizando de nuevo FWL (que también muestra que los residuos de los dos enfoques son idénticos), podemos escribir la USSR (SSR en su notación) como la SSR de la regresión MX1yenMX1X2

Es decir, USSR=yMX1MMX1X2MX1y=yMX1(IPMX1X2)MX1y=yMX1yyMX1MX1X2((MX1X2)MX1X2)1(MX1X2)MX1y=yMX1yyMX1X2(X2MX1X2)1X2MX1y

Por lo tanto,

RSSRUSSR=yMX1y(yMX1yyMX1X2(X2MX1X2)1X2MX1y)=yMX1X2(X2MX1X2)1X2MX1y

15voto

George Hewitt Puntos 994

@ChristophHanck ha proporcionado una muy completa la respuesta, aquí voy a añadir un esbozo de la prueba en el caso particular OP mencionado. Esperamos que sea también más fácil de seguir para los principiantes.

Una variable aleatoria YFd1,d2 si Y=X1/d1X2/d2, where X1χ2d1 and X2χ2d2 are independent. Thus, to show that the F-statistic has F-distribution, we may as well show that cESSχ2p1 and cRSSχ2np for some constant cy que son independientes.

En MCO del modelo escribimos y=Xβ+ε, where X is a n×p matrix, and ideally εNn(0,σ2I). For convenience we introduce the hat matrix H=X(XTX)1XT (note ˆy=Hy), and the residual maker M=IH. Important properties of H and M are that they are both symmetric and idempotent. In addition, we have tr(H)=p and HX=Xestos serán útiles más adelante.

Nos deja denotar la matriz de todos, como el de J, la suma de los cuadrados puede ser expresada con la formas cuadráticas: TSS=yT(I1nJ)y,RSS=yTMy,ESS=yT(H1nJ)y. Note that M+(HJ/n)+J/n=I. One can verify that J/n is idempotent and rank(M)+rank(HJ/n)+rank(J/n)=n. It follows from this then that HJ/n is also idempotent and M(HJ/n)=0.

Podemos ahora para demostrar que F-estadística ha F-distribución (búsqueda del teorema de Cochran para más). Aquí tenemos dos hechos:

  1. Deje xNn(μ,Σ). Supongamos A es simétrica con rango de r AΣ es idempotente, entonces xTAxχ2r(μTAμ/2), es decir, no de centro- χ2 con d.f. r y no-centralidad de la μTAμ/2. Este es un caso especial de Baldessari el resultado, una prueba también se puede encontrar aquí.
  2. Deje xNn(μ,Σ). Si AΣB=0, xTAx xTBx son independientes. Esto se conoce como Craig del teorema.

Desde yNn(Xβ,σ2I), tenemos ESSσ2=(yσ)T(H1nJ)yσχ2p1((Xβ)T(HJn)Xβ). However, under null hypothesis β=0, so really ESS/σ2χ2p1. On the other hand, note that yTMy=εTMε since HX=X. Therefore RSS/σ2χ2np. Since M(HJ/n)=0, ESS/σ2 and RSS/σ2 are also independent. It immediately follows then F=(TSSRSS)/(p1)RSS/(np)=ESSσ2/(p1)RSSσ2/(np)Fp1,np.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X