He utilizado un método de mínimos cuadrados en mi conjunto de datos, el uso de la lsqr función de Matlab. Sé que la norma de residuos es una medida de la bondad de ajuste, pero ¿cómo puedo evaluar si el valor de la norma de residuos es "bueno"? Cual es el alcance de esta medida?
Respuestas
¿Demasiados anuncios?
jldugger
Puntos
7490
Los residuos son "aceptables" cuando tienen, al menos aproximadamente, las siguientes características:
Ellos no están asociados con los valores ajustados (no hay una evidente tendencia o relación entre ellos).
Que se centra alrededor de cero.
Su distribución es simétrica.
No contienen, o muy pocos, inusualmente grandes o pequeños valores ("outliers").
Ellos no están correlacionadas con otras variables que se tienen en el conjunto de datos.
Estos no son criterios; son pautas. Por ejemplo, la correlación con otras variables es a veces aceptar. La correlación simplemente sugiere que los residuos podrían mejorarse aún más mediante la inclusión de dichas variables en el modelo. Pero los tres primeros puntos son lo más cercano a criterios como podemos conseguir en general, en el sentido de que una fuerte infracción de cualquiera de ellos es una clara indicación de que el modelo está mal.
Hay un montón de ejemplos de evaluación de los residuos y de la bondad de ajuste de los mensajes publicados en este sitio; una reciente donde los residuos mirar aceptable aparece en Busca de las estimaciones de mis datos con distribución beta acumulativa. Un ejemplo de claramente inaceptables de residuos aparece (entre otras cosas) en la pregunta en la Prueba homoscedasticity con Breusch-Pagan prueba. Allí, la distribución de los residuos es asimétrica (hay una larga cola en el rango negativo), los residuos varían de manera importante con otra variable (el "índice"), y presentan una forma de v de la asociación con los valores ajustados.
Un conjunto aceptable de residuos es "buena" cuando su tamaño típico es lo suficientemente pequeño como para aliviar las preocupaciones de que sus conclusiones pueden ser incorrectos. "Suficientemente pequeño" depende de cómo el modelo será utilizado, pero el punto principal es que usted quiere prestar atención al tamaño de los residuos puede ser, debido a que mide la desviación típica entre la variable dependiente y el ajuste. Cuando los datos son representativos de un proceso o de la población, que la desviación típica de las estimaciones de cómo de cerca el modelo predice que el no muestreados miembros de la población.
Por ejemplo, un modelo de supervivencia de un procedimiento médico puede expresar sus residuos como porcentaje de tiempo de supervivencia. Si un tamaño típico es de 100%, el modelo puede ser casi inútil ("que podría morir en cualquier momento entre la mañana y 20 años a partir de ahora), pero si es de 10%, el modelo es, probablemente, excelente para cualquier persona ("a la gente con su condición suelen vivir entre los 9 y los 11 años"). A 1 km residual en una ubicación espacial del modelo sería genial para enviar un satélite a Marte, pero podría naufragio de barcos en un puerto. Contexto importa la hora de evaluar la bondad de ajuste.
Varias medidas de residuos de tamaño están en uso, de nuevo, dependiendo del propósito del análisis. El más común es un (ajustada) de la raíz cuadrada de la media aritmética, que es casi siempre lo informado por mínimos cuadrados de software. Sería ingenuo y arriesgado confiar en este número sin la comprobación de las directrices para la aceptabilidad. Una vez que haya confirmado que los residuos son aceptables, sin embargo, este número es una forma efectiva de evaluar y reportar la bondad de ajuste.
Entre las medidas alternativas de residuos de tamaño, una excelente es el de "H-spread" de los residuos. (Dividir el conjunto de residuos en una mitad superior y la mitad inferior. El H-spread es la diferencia entre la mediana de la mitad superior y la mediana de la mitad inferior. Es prácticamente el mismo que el rango intercuartil de los residuos). Esta medida no es tan sensible a la más extrema de los residuos como la raíz cuadrada de la media aritmética. Sin embargo, como se indica en la directriz sobre los valores atípicos, también es una buena idea mirar los tamaños de los aspectos más positivos y más negativos de los residuos.
Como se menciona en otra parte de este hilo, vamos a ver el $R^2$. Esta figura está relacionado con el tamaño de los residuos, pero la relación es indirecta. Como se puede ver en la fórmula, que depende de la variación total en la variable dependiente, que a su vez depende de la cantidad de la independiente de las variables varían en el conjunto de datos. Esto hace que sea mucho menos útil que directamente el examen de la raíz cuadrada media residual. $R^2$ valores también puede ser errónea: que puede llegar a ser muy alta debido a la presencia de un solo "alto apalancamiento" valor en los datos, dando una falsa impresión de que es un buen ajuste. Cualquier decente medida de la típica residual tamaño no tienen este problema.
simmosn
Puntos
304
Imagina que no hemos modelo de nada y no tenemos ninguna información sobre $x$ para utilizar en nuestras predicciones. ¿Qué sería de nuestra estimación de $y$?
Si hemos realizado la siguiente regresión: $$ \begin{align*} y_i = \beta_0 + \epsilon_i \end{align*}$$ a continuación,$\hat{\beta}_0 = \bar{y}$.
Podemos escribir $$ \begin{align*} y_i = \hat{y}_i + e_i, \end{align*}$$ donde $e$ es el residual. Ahora, resta $\bar{y}$ desde ambos lados: $$ \begin{align*} y_i - \bar{y} = \hat{y}_i - \bar{y} + e_i. \end{align*}$$ Vamos a plaza de los dos lados y la suma de todos los $i$: $$ \begin{align*} \sum{\left(y_i - \bar{y}\right)^2} = \sum{\left(\hat{y}_i - \bar{y}\right)^2} + \sum{e_i^2} \end{align*}$$ (hemos utilizado el hecho de que $\sum{\left(\hat{y}_i - \bar{y}\right)e_i} = 0$). }
Vamos a crear una estadística llamada $R^2$: $$ \begin{align*} R^2 = \frac{\sum{\left(\hat{y}_i - \bar{y}\right)^2}}{\sum{\left(y_i - \bar{y}\right)^2}} = 1 - \frac{\sum{e_i^2}}{\sum{\left(y_i - \bar{y}\right)^2}}. \end{align*}$$ Esta es la relación de la variación predicha por el modelo para la variación, no previstos por la media solos, la forma más sencilla posible modelo de nuestro resultado. De la variación que se predijo, ¿qué fracción es predicha por el modelo? Por otra parte, es 1 menos la variación que se mantiene en relación a la variación total.
Desde OLS minimiza la suma de cuadrados de los residuos, cualquiera de los datos de $y$, puede ver OLS como la elección de los coeficientes para maximizar la $R^2$.
Porque nuestros modelos incluyen una intercepción, la recta de regresión pasa por el punto medio ($\bar{x}, \bar{y}$) y por tanto predecir nada menos que la media de los solos.
El uso de la derivación anterior y el hecho de que nuestra regresión incluye un término de intersección, $R^2$ está acotada entre 0 y 1.
Además, $R^2$ es igual a la muestra de correlación al cuadrado $\left(r_{x,y} \text{ para univariante de regresión de y }r_{\hat{y},y} \text{ general}\right)$.
$R^2$ es el más común de bondad de ajuste de medida para la regresión, pero tiene que venir con una advertencia de la sirena.
Todo lo que $R^2$ dice que es la proporción del total de la variación que es predicho por el modelo. Tenga en cuenta que he evitar el típico "es explicada por el modelo" frases que la gente usa. Esto implica causalidad y $R^2$ sí no de la medida.
Usted puede tener un modelo perfecto: $y$ es sólo su media y algunos de error---esa es la definición de $y$---pero, el $R^2$ es 0. Su modelo es exactamente correcto, pero tiene un pequeño $R^2$ simplemente porque no se puede predecir la variación de $y$ no importa lo que la información (variables) que usted utilice.
Por otro lado, usted puede tener un muy alto $R^2$, pero tienen un completo modelo equivocado cuando dos cosas están relacionadas por algún otro motivo. Una serie de tiempo por ejemplo, si me regresan mi peso de las edades de 0 a 27 en el peso de alguien entre las edades de 0 a 27. Vamos a obtener un alto $R^2$ simplemente porque nuestra pesos fueron creciendo por un tiempo ya que creció y relativamente estancado después; mi ponderado no fue causada por, o relacionados de cualquier manera el peso de la otra persona (ver esta pregunta en los espurios de la relación de causalidad).
