He oído (lo siento no puede proporcionar un enlace a un texto, algo que me han dicho) que un alto positivo de la curtosis de los residuos puede ser problemático para precisión de las pruebas de hipótesis y los intervalos de confianza (y por lo tanto problemas con la inferencia estadística). Esto es cierto y si es así, ¿por qué? Sería un alto positivo de la curtosis de los residuos no indican que la mayoría de los residuos se encuentran cerca de la residual media de 0 y por lo tanto menos grandes residuos están presentes? (Si usted tiene una respuesta, por favor, intenta dar una respuesta con no mucha profundidad las matemáticas como no estoy muy matemáticamente inclinado).
Respuestas
¿Demasiados anuncios?
oído [...] que un alto positivo de la curtosis de los residuos puede ser problemático para precisión de las pruebas de hipótesis y los intervalos de confianza (y por lo tanto problemas con la inferencia estadística). Esto es cierto y si es así, ¿por qué?
Para algunos tipos de prueba de hipótesis, es cierto.
Sería un alto positivo de la curtosis de los residuos no indican que la mayoría de los residuos se encuentran cerca de la residual media de 0 y por lo tanto menos grandes residuos están presentes?
No.
Estás mezclando el concepto de la varianza con el de curtosis. Si la variación fueron menores, luego de una tendencia a la más pequeña de residuos y menor número de grandes residuos que se unen. Imaginar que tenemos la desviación estándar constante mientras cambiamos la curtosis (así que definitivamente estamos hablando de cambios a la curtosis en lugar de la varianza).
Comparar diferentes varianzas (pero el mismo curtosis):
con diferentes curtosis pero la misma varianza:
(las imágenes de este post)
Una alta curtosis tiende a indicar más pequeñas desviaciones de la media, del más pequeño de los residuos de$^\ddagger$ de lo que te puedes encontrar con una distribución normal .. pero para mantener la desviación estándar en el mismo valor, debemos tener la más grande de los residuos (porque tener más pequeño de los residuos haría que la distancia típica de la media es menor). Para obtener más tanto de la gran residuos y pequeños residuos, usted tendrá menos "típico de tamaño" de los residuos, aquellos sobre una desviación estándar de distancia de la media.
$\ddagger$ (pero no siempre un mayor pico como tal)
Por lo que una mayor curtosis también tiende a ir con los más grandes residuos.
[Además, en algunos casos, la concentración de pequeñas residuales pueden llegar a provocar más de un problema que el de la fracción más grande de los residuos, dependiendo de qué cosas estás buscando.]
De todos modos, veamos un ejemplo. Considere la posibilidad de un one-sample t-test y un tamaño de muestra de 10.
Si rechazamos la hipótesis nula cuando el valor absoluto del valor de la estadística t es mayor que 2.262, a continuación, cuando las observaciones son independientes, idénticamente distribuidas de una distribución normal, y la hipótesis de la media es la verdadera media de la población es, vamos a rechazar la hipótesis nula al 5% del tiempo.
Considere la posibilidad de una distribución particular con sustancialmente mayor aplanamiento de la normal: el 75% de nuestra población tiene sus valores procedentes de una distribución normal y el 25% restante tienen sus valores procedentes de una distribución normal con desviación estándar de 50 veces más grande.
Si he calculado correctamente, esto corresponde a una curtosis de 12 (un exceso de curtosis de 9). La distribución resultante es mucho más picuda que la normal y ha pesadas colas. La densidad se compara con la densidad normal de abajo, se puede ver el pico más alto, pero usted no puede ver realmente el más pesado de cola en la imagen de la izquierda, así que también se representa el logaritmo de la densidad, lo que se extiende fuera de la parte inferior de la imagen y comprime la parte superior, lo que es más fácil ver el pico y la cola.
El real nivel de significación para esta distribución si llevar a cabo un "5%" one-sample t-test con $n=10$ está por debajo del 0,9%. Esto es bastante dramático, y tira hacia abajo de la curva de potencia muy sustancialmente.
(Usted también verá un efecto sustancial en la cobertura de los intervalos de confianza.)
Tenga en cuenta que una distribución diferente con el mismo curtosis como que va a tener un impacto diferente en el nivel de significación.
Entonces, ¿por qué la tasa de rechazo? Es porque el más pesado de cola conduce a un par de grandes valores atípicos, que tiene poco impacto más grande en la desviación estándar de lo que se hace en la media; esto afecta el t-estadístico porque nos lleva a los valores t entre -1 y 1, en el proceso de la reducción de la proporción de valores en la región crítica.
Si usted toma una muestra de que se ve bastante consistente con que proceden de una distribución normal cuya media es justo lo suficiente por encima de la hipótesis significa que es significativo, y luego de tomar la observación más por encima de la media y tire de ella aún más lejos (es decir, hacer la media, incluso más grandes que en virtud de $H_0$), que el t-estadístico más pequeños.
Se los mostraré. He aquí una muestra de tamaño 10:
1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23Imaginemos que queremos probar en contra de $H_0: \mu=2$ (un one-sample t-test). Resulta que la media de la muestra aquí es de 2.68 y la desviación estándar de la muestra es 0.9424. Usted obtener una estadística t de 2.282 -- sólo en la región de rechazo para un 5% de la prueba (p-valor de 0.0484).
Ahora haga que el de mayor valor de 50:
1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50Claramente nos tire de la media, por lo que debe indicar una diferencia aún más de lo que hizo antes, a la derecha? Bueno, no, no. La estadística t va hacia abajo. Es ahora a 1,106, y el p-valor es bastante grande (cerca del 30%). Lo que pasó? Bueno, nos hizo sacar la media hacia arriba (7.257), pero la desviación estándar se disparó hasta más de 15.
Las desviaciones estándar son un poco más sensibles a los valores extremos de medios -- cuando se pone en un valor atípico, que tienden a empujar el one-sample t-estadística hacia 1 o -1.
Si hay una posibilidad de que varios de los valores atípicos, lo mismo ocurre sólo a veces pueden estar en lados opuestos (en cuyo caso la desviación estándar es aún más inflados, mientras que el impacto sobre la media se reduce en comparación con un valor atípico), por lo que la estadística t tiende a moverse más cerca de 0.
Similar cosa se va con un número de otras pruebas comunes que asumir la normalidad -- mayor curtosis tiende a ser asociada con más pesadas colas, lo que significa más de los valores atípicos, lo que significa que las desviaciones estándar de obtener inflan en relación a los medios y así las diferencias quieres recoger tienden a obtener "inundados" por el impacto de los valores atípicos en la prueba. Es decir, de baja potencia.
Peter Westfall
Puntos
11
La curtosis mide los valores atípicos. Los valores atípicos son problemáticos para el estándar de inferencias (por ejemplo, pruebas t, t-intervalos) que están basados en la distribución normal. Ese es el fin de la historia! Y es realmente bastante simple historia.
La razón de esta historia es que no se aprecia bien es porque el antiguo mito de que la curtosis mide "peakedness" persiste.
Aquí es una explicación simple que muestra por qué la curtosis mide los valores atípicos y no "peakedness".
Considere el siguiente conjunto de datos.
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1
La curtosis es el valor esperado de la (valores z)^4. Aquí están los (valores z)^4:
6.51, 0.30, 5.33, 0.45, 0.00, 0.30, 6.51, 0.00, 0.45, 0.30, 0.00, 6.51, 0.00, 0.00, 0.30, 0.00, 27.90, 0.00, 0.30, 0.45
El promedio es de 2.78, y que es una estimación de la curtosis. (Restar 3 si desea que el exceso de curtosis.)
Ahora, sustituir el último valor de datos con 999 por lo que se convierte en un valor atípico:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999
Ahora, aquí están los (valores z)^4:
0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00,0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 360.98
El promedio es de 18.05, y que es una estimación de la curtosis. (Restar 3 si desea que el exceso de curtosis.)
Evidentemente, sólo el outlier(s) de la materia. Nada sobre el "pico" o los datos de cerca de la mitad de los asuntos.
Si usted realizar análisis estadísticos con el segundo conjunto de datos, usted debe esperar problemas. La gran aplanamiento de alerta para el problema.
Aquí es un documento que elabora:
Westfall, P. H. (2014). La curtosis como Peakedness, 1905 – 2014. R. I. P. El Estadístico Americano, 68, 191-195.
