¿Qué es una estimación insesgada de la población R-cuadrado?

Question

Estoy interesado en obtener una estimación insesgada de $R^2$ en una regresión lineal múltiple.

En la reflexión, puedo pensar en dos diferentes valores que una estimación insesgada de $R^2$ podría estar tratando de igualar.

1. De la muestra $R^2$: el r-cuadrado que se habría obtenido si la ecuación de regresión obtenida de la muestra (es decir, $\hat{\beta}$) fueron aplicados a una cantidad infinita de datos externos a la muestra, sino que a partir de los mismos datos proceso de generación.
2. Población $R^2$: El r-cuadrado que se habría obtenido si el infinito de la muestra se obtuvieron y el modelo ajustado a infinito de la muestra (es decir, $\beta$) o, alternativamente, sólo el R-cuadrado implícita por los datos conocidos proceso de generación.

Entiendo que ajusta $R^2$ está diseñado para compensar el sobreajuste observado en la muestra $R^2$. Sin embargo, no está claro si ajusta $R^2$ es en realidad una estimación insesgada de $R^2$, y si se trata de una estimación insesgada, ¿cuál de las dos definiciones de $R^2$ es con el objetivo de estimar.

Por lo tanto, mis preguntas:

• ¿Qué es una estimación insesgada de lo que yo llamo por encima de la muestra $R^2$?
• ¿Qué es una estimación insesgada de lo que yo llamo por encima de la población $R^2$?
• Hay referencias que proporcionan una simulación o de otra prueba de la unbiasedness?

Answer 1

Evaluación de la analítica de los ajustes a R-cuadrado

@ttnphns me refirió el Yin y el Ventilador (2001) el artículo que compara los diferentes métodos de análisis de la estimación de $R^2$. Como por mi pregunta que distinguir entre dos tipos de estimadores. Se utiliza la siguiente terminología:

• $\rho^2$: Estimador de el cuadrado de la población de correlación múltiple coeficiente de
• $\rho_c^2$: Estimador de el cuadrado de la población de la cruz-coeficiente de validez

Sus resultados se resumen en el resumen:

Los autores realizaron un experimento de Monte Carlo para investigar la la eficacia de las fórmulas analíticas para la estimación de $R^2$ encogimiento, con 4 totalmente cruzado de los factores (el cuadrado de la población de correlación múltiple el coeficiente número de factores, el tamaño de la muestra, y el grado de la multicolinealidad) y 500 repeticiones en cada celda. Los resultados indicó que el más ampliamente utilizado Wherry fórmula (en SAS y SPSS) no es probablemente la más eficaz fórmula analítica para la estimación de $\rho^2$. En su lugar, el Pratt fórmula y la fórmula Browne superaron a otras fórmulas analíticas en la estimación de $\rho^2$$\rho_c^2$, respectivamente.

Así, el artículo implica que el Pratt fórmula (p.209) es una buena opción para la estimación de $\rho^2$:

$$\hat{R}^2=1 - \frac{(N-3)(1 - R^2)}{(N-p-1)} \left[ 1 + \frac{2(1-R^2)}{N-p-2.3} \right]$$

donde N es el tamaño de la muestra y p es el número de predictores.

Estimaciones empíricas de los ajustes de R-cuadrado

Kromrey y Hines (1995) revisión de estimaciones empíricas de $R^2$ (por ejemplo, la validación cruzada de los enfoques). Ellos muestran que este tipo de algoritmos son inapropiados para la estimación de $\rho^2$. Esto tiene sentido dado que este tipo de algoritmos parece estar diseñado para calcular el $\rho_c^2$. Sin embargo, después de leer esto, yo todavía no estaba seguro de si alguna forma de adecuadamente corregida estimación empírica todavía podría funcionar mejor que la analítica de las estimaciones en la estimación de $\rho^2$.

Referencias

• Kromrey, J. D., & Hines, C. V. (1995). Uso de estimaciones empíricas de la contracción en la regresión múltiple: una precaución. Educativa y Psicológica de la Medición, 55(6), 901-925.
• Yin, P., & Fan, X. (2001). La estimación de $R^2$ encogimiento de regresión múltiple: Una comparación de diferentes métodos de análisis. El Journal of Experimental de Educación, 69(2), 203-224. PDF