¿Cómo comprobar si el cambio es significativo en varias categorías?

Question

Aquí está una mirada en mis datos. Le pedimos a la misma de los encuestados (n=~400) para proveer a sus actuales y futuras de consumo como proporción del gasto total. Trazan aquí son la media de las proporciones de gasto total para cada categoría, para el "Ahora" y "Después", respectivamente actual y futuro.

Lo que estoy buscando es un método estadístico que puedo usar para probar si las otras categorías están aumentando, mientras que la categoría más importante es la disminución. El gráfico muestra esta, hasta cierto punto, pero me gustaría asegurarme de que es estadísticamente válida.

Answer 1

Hay sutiles cuestiones relativas a la diferencia entre diseñado y comparaciones post-hoc de comparaciones, de que esto probablemente es un ejemplo.

Si, antes de la recogida de los datos, se prevé este tipo de patrón, usted podría emplear un simple test no paramétrico de la prueba. La hipótesis nula sería que todos los cambios son debido a la oportunidad con la alternativa de que una determinada categoría fue en aumento y los otros ocho categorías fueron disminuyendo. Bajo el null, cambios positivos tienen un 50% de probabilidad de que se produzca, lo que implica la posibilidad de que la alternativa es $(0.50)^8(1 - 0.50)^1$ = $0.002$: evidencias muy importante para la alternativa.

El análisis para un post-hoc de observación es difícil porque ni siquiera podemos empezar con la descripción de la situación. Exactamente qué tipo de patrón de notar y considerado digno de probar? Muchos son posibles, sin descripción precisa disponible, que todo lo que podemos decir (por experiencia) es que (a) es muy probable que cualquier investigador interesado se daría cuenta de algún patrón en los datos y (b) un post-hoc con la prueba de hipótesis podría ser construido para "demostrar" la "alta importancia" de que el modelo, exactamente como lo hice anteriormente. Por estas razones, la aplicación de pruebas de hipótesis después de los hechos para apoyar las reivindicaciones de la "validez estadística" para la exploración de los resultados, es mal visto. (Entre los estadísticos, que deberían saber mejor, se llama "el espionaje de datos" o algo peor.)

Una manera de llevar a cabo el análisis con c. la mitad de los datos, seleccionados al azar. Buscar patrones que te gusta. La construcción de un adecuado conjunto de pruebas de hipótesis para los patrones y, a continuación, aplicarlos a la entrada-salida de datos solamente. Este es el espíritu de la científica requisito para la replicación. Si usted no hace esto, entonces usted podría ser obligado a repetir el experimento para confirmar lo que estamos viendo en los datos de los que disponemos.

Answer 2

Dada la información adicional que hemos posteriormente publicado no estoy seguro de que cualquier prueba estadística va a ser que informativo. Si usted tuvo un fuerte predicción de un patrón como este o similares, esto es una baja probabilidad de evento que usted está bastante justo para obtener estos datos. Con un N de 400 casi cualquier prueba que definitivamente será significativo. Algunas buenas descriptivo estadísticas, tales como los intervalos de confianza sería muy útil.

Yo sugeriría que la precaución se hizo en su descripción de la tendencia a la baja se forma remota significativa. Es una pequeña cantidad que, sí, si el N es lo suficientemente grande va a ser significativo. Pero es que la pequeña gota en un porcentaje significativo? Yo creo que lo más significativo de la declaración es que no es un aumento al igual que los otros y que se mantiene más o menos plana. No trate de cambiar la historia de realmente pequeños efectos con pruebas estadísticas.