Tengo leer que "Cuando se obtienen más y más datos, se pueden encontrar diferencias estadísticamente significativas mires donde mires "
Mi pregunta es:
Creo que esto se debe a que en el mundo real no se espera que la hipótesis nula estándar sea cierta. Si se comparan las medias de dos poblaciones, la hipótesis nula dice que $\mu_1 = \mu_2$ es decir, los dos medios son exactamente igual. En muchas situaciones, sin embargo, una hipótesis nula más precisa diría que $\mu_1$ y $\mu_2$ son casi iguales (signifique eso lo que signifique).
Para tamaños de muestra pequeños, la diferencia entre medias sólo dará un valor p bajo si la diferencia medida es "relativamente" grande. Sin embargo, para tamaños de muestra suficientemente grandes, incluso una diferencia minúscula en las medias puede llegar a ser estadísticamente significativa, aunque a efectos prácticos las cifras sean las mismas.
Aquí también hay buena información para esta pregunta:
He leído que "Cuando se obtienen más y más datos, se pueden encontrar diferencias estadísticamente significativas donde quiera que mires"
Esto no siempre es cierto, sin embargo, si su hipótesis nula es que dos grupos de personas son exactamente iguales al 100%, entonces sí lo es, porque esa hipótesis nula será casi siempre o siempre falsa. En cambio, si su hipótesis nula es que la velocidad de la luz es 299.792.458 m/s y la mide muchas veces sin utilizar herramientas que estén sesgadas para cometer errores de medición en un sentido u otro, entonces no es más probable que obtenga significación.
¿A qué se debe este caso? (¿algún ejemplo intuitivo que muestre este comportamiento?)
Cuando es así, es porque la hipótesis nula es falsa o hay algún sesgo de la herramienta de medición.
¿Por qué estos aumentos de la diferencia estadística hacen n implican que los efectos observados sean significativos / importantes?
Porque es igual de probable que las diferencias muy pequeñas se deban a otros motivos distintos del que se pretendía probar con el experimento (por ejemplo, un problema con el dispositivo de medición, una diferencia de base entre los grupos) y no hay forma de adivinar cuál se ha producido. Tenga en cuenta que este es siempre el caso, incluso si el efecto es grande, sólo es menos probable (por lo que puedo decir esto es "a mano", pero intuitivamente obvio) para observar un gran efecto si todos los factores, excepto su variable independiente se mantuvieron relativamente constantes.
Además, las diferencias muy pequeñas no suelen dar motivos para tomar medidas en función del resultado. El coste de la acción suele ser mayor que los beneficios.
Edita: Otra cosa es que, obviamente, en el caso de una hipótesis nula predicha por la teoría, un resultado no significativo es importante, ya que su teoría ha sido corroborada. Incluso en el caso de la hipótesis nula más común "siempre falsa", los resultados de los datos en "no significativos" podrían ser significativos. La falta de significación, especialmente para muestras de gran tamaño, indica que cualquier efecto/diferencia es pequeño en relación con el ruido de fondo. Yo diría que la práctica de ignorar los resultados no significativos es un grave error.
También quiero destacar que no siempre se encontrarán resultados estadísticamente significativos, incluso con datos casi infinitos. Los resultados estadísticamente significativos sólo representan lo que probablemente sean verdaderas diferencias, independientemente de su tamaño. Si esta diferencia no existe, entonces el número de casos no importa. Consideremos dos muestras de 10 millones de árboles que tienen, de media, exactamente la misma altura. Con una muestra global de 20 millones de árboles, la diferencia nunca será estadísticamente significativa. Siempre es importante evaluar el tamaño del efecto cuando los resultados son estadísticamente significativos. Los resultados son importantes/significativos en el contexto de lo que se está explorando. La importancia siempre dependerá. Una diferencia del 1% puede ser muy poco importante cuando se considera el tamaño de un zapato, pero ser muy significativa cuando representa las probabilidades de morir de una enfermedad en una población de 10.000 millones de personas.
No tiene por qué siempre encontrar diferencias significativas al aumentar el tamaño de la muestra, pero cada vez es más probable. Como han señalado varias personas, las muestras realmente idénticas pueden no dar lugar a una diferencia significativa. Lo que sí hace es que sea mucho más probable detectar diferencias muy, muy pequeñas, diferencias sobre las que, en el mundo real, no podemos actuar de forma significativa.
Por ejemplo, si le dijera que el CI medio de un grupo es 100,0001 y el del otro grupo 100,0002, ¿podría realmente tratar al segundo grupo como "más inteligente" (dadas todas las advertencias en torno al CI como medida de la inteligencia)?
Utilizaré un ejemplo de mi propio trabajo: Estaba simulando una intervención en un hospital para ayudar a evitar que los pacientes desarrollaran una enfermedad concreta. Mi conjunto de datos consistía en una serie de hospitales simulados con tratamiento y otra serie de hospitales sin tratamiento.
La diferencia entre ellos era estadísticamente significativa, y mucho. La diferencia era totalmente porque los hospitales "Sin tratamiento" tenían algunos ejemplos con algo más de infecciones. Pero en la mayoría de los aspectos significativos, los dos brazos eran idénticos. Tenían el mismo número medio de casos, el mismo mínimo, el mismo percentil 75, el mismo percentil 95 e incluso el mismo percentil 99 de casos. La importancia se debió por completo a unos pocos casos extremos en el extremo de la distribución y a un gran tamaño de la muestra.
El efecto del tratamiento fue, en el mundo real, totalmente indetectable y sin sentido. Pero como tenía una muestra de gran tamaño, fue estadísticamente significativo. Si hubiera querido que lo fuera más, podría haber ido a cenar y dejar que la simulación durara más, pero eso no habría hecho que la intervención fuera más eficaz.
Supongamos que tiene un tratamiento para el resfriado común que puede funcionar o no. Se lo administra a una persona y esa persona mejora. Puede que el tratamiento funcione o puede que la persona mejore por casualidad.
Ahora bien, si aplicas este tratamiento a dos personas y ambas mejoran, esto ya es más convincente... ¿cuáles son las probabilidades de que dos personas a las que diste un tratamiento mejoren ambas?
Ahora imagina que das el tratamiento a un grupo de 500 personas y todas mejoran, mientras que en otro grupo de 500 personas que no reciben tu tratamiento, sólo 10 mejoran. Podría ser que el grupo al que usted trató simplemente tuviera más suerte, pero a medida que aumenta el número de personas, las probabilidades de que ocurra esa casualidad se vuelven extremadamente pequeñas... es más probable que su tratamiento realmente tenga un efecto.
Cuantos más datos tenga, menos probable será que los patrones que observe sean una casualidad.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
