¿Puedo hacer una prueba de hipótesis para datos normales sesgados?

Question

Tengo una colección de datos, que originalmente pensé que se distribuía normalmente. Luego los miré y me di cuenta de que no era así, sobre todo porque los datos están sesgados, y también hice una prueba de shapiro-wilks.

Todavía me gustaría analizarlo con métodos estadísticos, por lo que me gustaría hacer una prueba de hipótesis para la normalidad sesgada.

Así que me gustaría saber si hay una manera de probar la normalidad sesgada, y si es posible, una biblioteca para hacer la prueba para mí.

Answer 1

En cuanto a cómo ajustar los datos a una distribución asimétrica normal Se podría calcular el estimador de máxima verosimilitud a partir de los primeros principios. En primer lugar, observe que la función de densidad de probabilidad para la distribución normal sesgada con el parámetro de localización $\xi$ parámetro de escala $\omega$ y el parámetro de forma $\alpha$ es

$$\frac{2}{\omega} \phi\left(\frac{x-\xi}{\omega}\right) \Phi\left(\alpha \left(\frac{x-\xi}{\omega}\right)\right)$$

donde $\phi(\cdot)$ es la función de densidad normal estándar y $\Phi(\cdot)$ es la FCD normal estándar. Tenga en cuenta que esta densidad es un miembro de la clase descrita en mi respuesta a esta pregunta .

La probabilidad logarítmica basada en una muestra de $n$ observaciones independientes de esta distribución es:

$$-n\log(\omega) + \sum_{i=1}^{n} \log \phi\left(\frac{x-\xi}{\omega}\right) + \log \Phi\left(\alpha \left(\frac{x-\xi}{\omega}\right)\right)$$

Es un hecho que no hay una solución de forma cerrada para este MLE. Pero, se puede resolver numéricamente. Por ejemplo, en R podría codificar la función de probabilidad como (nota, lo he hecho menos compacto/eficiente de lo posible para hacer completamente transparente cómo esto calcula la función de probabilidad arriba):

set.seed(2345)

# generate standard normal data, which is a special case
n = 100 
X = rnorm(n) 

# Calculate (negative) log likelihood for minimization
# P[1] is omega, P[2] is xi and P[3] is alpha
L = function(P)
{

    # positivity constraint on omega
    if( P[1] <= 0 ) return(Inf)

    S = 0
    for(i in 1:n) 
    {
        S = S - log( dnorm( (X[i] - P[2])/P[1] ) ) 
        S = S - log( pnorm( P[3]*(X[i] - P[2])/P[1] ) ) 
    }

    return(S + n*log(P[1]))
}

Ahora sólo tenemos que minimizar numéricamente esta función (es decir, maximizar la probabilidad). Se puede hacer esto sin tener que calcular las derivadas utilizando la función Algoritmo Simplex que es la implementación por defecto en el optim() paquete en R .

En cuanto a la forma de comprobar la asimetría: Podemos probar explícitamente la normalidad sesgada frente a la normalidad (ya que la normalidad es un submodelo) restringiendo $\alpha = 0$ y haciendo un prueba de razón de verosimilitud .

# log likelihood constraining alpha=0. 
L2 = function(Q) L(c(Q[1],Q[2],0))

# log likelihood from the constrained model
-optim(c(1,1),L2)$value
[1] -202.8816

# log likelihood from the full model
-optim(c(1,1,1),L)$value
[1] -202.0064

# likelihood ratio test statistic
LRT = 2*(202.8816-202.0064)

# p-value under the null distribution (chi square 1)
1-pchisq(LRT,1)
[1] 0.1858265

Así que no rechazamos la hipótesis nula de que $\alpha=0$ (es decir, no hay desviación).

En este caso la comparación era sencilla, ya que la distribución normal era un submodelo. En otros casos más generales, se podría comparar la sesgo-normal con otras distribuciones de referencia comparando, por ejemplo, AIC s (como se hace aquí ) si se utilizan estimadores de máxima verosimilitud en todos los ajustes de la competencia. Por ejemplo, podría ajustar los datos por máxima verosimilitud bajo una distribución gamma y bajo la normal sesgada y ver si la verosimilitud añadida justifica la complejidad añadida de la normal sesgada (3 parámetros en lugar de 2). También podría considerar el uso de la prueba de Kolmogorov Smirnov de una muestra para comparar sus datos con la estimación de mejor ajuste de la familia skew-normal.

Answer 2

Soy un estadístico que lleva más de 30 años trabajando en esta profesión y antes de leer este post nunca había oído hablar de la distribución normal sesgada. Si tienes datos muy asimétricos, ¿por qué quieres buscar específicamente la normal asimétrica en lugar de la lognormal o la gamma? Cada vez que se tiene una familia paramétrica de distribuciones como la gamma, la lognormal o la normal oblicua, se puede aplicar una prueba de bondad de ajuste como la de chi-cuadrado o la de Kolmogorov-Smirnov.

Answer 3

Así que mi solución al final fue descargar el fGarch paquete, y snormFit proporcionado por fGarch para obtener MLEs para los parámetros de una Skewed-Normal.

A continuación, introduje esos parámetros, con el dsnorm proporcionada por fGarch, en una prueba de Kolmogorov-Smirnov.

Answer 4

Comprueba http://www.egyankosh.ac.in/bitstream/123456789/25807/1/Unit6.pdf y http://en.wikipedia.org/wiki/Skewness

Puede utilizar la prueba de Karl Pearson para la asimetría. La relación entre el tercer momento y el cubo de la desviación estándar se llama coeficiente de asimetría. Las distribuciones simétricas tendrían una asimetría = 0

Answer 5

En SPSS puede obtener una estimación de la asimetría (yendo a analizar y luego a descriptivos y marcando la asimetría), entonces obtendrá una puntuación de asimetría y S.E (error estándar) de asimetría. Divida la asimetría por su E.S. y si su puntuación está entre +-1,96 es normalmente asimétrica. Si no es asimétrica, existen muchas pruebas no paramétricas. Buena suerte y todo lo mejor.