¿Cómo interpretar e informar del eta cuadrado / eta cuadrado parcial en los análisis estadísticamente significativos y no significativos?

Question

Tengo datos que tienen valores eta al cuadrado y valores eta al cuadrado parciales calculados como medida del tamaño del efecto para las diferencias medias de los grupos.

• ¿Cuál es la diferencia entre eta al cuadrado y eta parcial al cuadrado? ¿Pueden interpretarse ambos utilizando las mismas pautas de Cohen (1988 creo: 0,01 = pequeño, 0,06 = mediano, 0,13 = grande)?

• Además, ¿es útil informar del tamaño del efecto si la prueba de comparación (es decir, la prueba t o el ANOVA unidireccional) no es significativa? En mi cabeza, esto es como decir "la diferencia media no alcanzó la significación estadística, pero sigue siendo de especial interés porque el tamaño del efecto indicado a partir de la eta al cuadrado es medio". O bien, ¿el tamaño del efecto es un valor de sustitución para las pruebas de significación, en lugar de ser complementario?

Answer 1

Tamaños de los efectos de las diferencias medias de los grupos

• En general, considero que las diferencias medias de grupo estandarizadas (por ejemplo, la d de Cohen) son una medida del tamaño del efecto más significativa en el contexto de las diferencias de grupo. Las medidas como la eta cuadrada están influidas por la igualdad de los tamaños de las muestras de los grupos, mientras que la d de Cohen no lo está. También creo que el significado de las medidas basadas en la d es más intuitivo cuando lo que se intenta cuantificar es una diferencia entre las medias de los grupos.
• El punto anterior es particularmente fuerte para el caso en el que sólo se tienen dos grupos (por ejemplo, el efecto del tratamiento frente al control). Si tiene más de dos grupos, la situación es un poco más complicada. Puedo ver el argumento de las medidas de varianza explicada en este caso. Otra alternativa, Cohen's $f^2$ es otra opción.
• Una tercera opción es que en el contexto de los efectos experimentales, incluso cuando hay más de dos grupos, el concepto de efecto se conceptualiza mejor como una comparación binaria (es decir, el efecto de una condición en relación con otra). En este caso, se puede volver de nuevo a las medidas basadas en d. La medida basada en d no es una medida de tamaño del efecto para el factor, sino de un grupo en relación con un grupo de referencia. La clave es definir un grupo de referencia significativo.
• Por último, es importante recordar el objetivo más amplio de incluir medidas de tamaño del efecto. Se trata de dar al lector una idea del tamaño del efecto de interés. Cualquier medida estandarizada del efecto debería ayudar al lector en esta tarea. Si la variable dependiente está en una escala intrínsecamente significativa, no hay que evitar interpretar el tamaño del efecto en términos de esa escala. Por ejemplo, escalas como el tiempo de reacción, el salario, la altura, el peso, etc., son inherentemente significativas. Si, como yo, encuentras que el eta al cuadrado es poco intuitivo en el contexto de los efectos experimentales, entonces tal vez debas elegir otro índice.

Eta al cuadrado frente a eta parcial al cuadrado

• La eta cuadrada parcial es la medida del tamaño del efecto por defecto que se indica en varios procedimientos de ANOVA en SPSS. Supongo que por eso recibo con frecuencia preguntas al respecto.
• Si sólo tiene una variable de predicción, la eta parcial al cuadrado es equivalente a la eta al cuadrado.
• Este el artículo explica la diferencia entre eta al cuadrado y eta parcial al cuadrado (Levine y Hullett Eta al cuadrado, Eta parcial al cuadrado.. ).
• En resumen, si tiene más de un predictor, la eta cuadrada parcial es la varianza explicada por una variable determinada de la varianza que queda después de excluir la varianza explicada por otros predictores.

Reglas generales para la eta al cuadrado y la eta parcial al cuadrado

• Si sólo tiene un predictor, la eta al cuadrado y la eta al cuadrado parcial son iguales y, por tanto, se aplican las mismas reglas generales.
• Si tiene más de un predictor, creo que las reglas generales de eta al cuadrado se aplicarían más a la eta parcial al cuadrado que a la eta al cuadrado. Esto se debe a que la eta cuadrada parcial en un ANOVA factorial podría aproximarse más a lo que habría sido la eta cuadrada para el factor si hubiera sido un ANOVA de una sola vía; y es presumiblemente un ANOVA de una sola vía el que dio lugar a las reglas generales de Cohen. En general, la inclusión de otros factores en un diseño experimental debería reducir típicamente la eta al cuadrado, pero no necesariamente la eta al cuadrado parcial debido a que el segundo factor, si tiene un efecto, aumenta la variabilidad en la variable dependiente.
• A pesar de lo que digo sobre las reglas empíricas para la eta al cuadrado y la eta al cuadrado parcial, reitero que no soy partidario de las medidas de varianza explicada del tamaño del efecto en el contexto de la interpretación del tamaño y el significado de los efectos experimentales. Igualmente, las reglas empíricas son sólo eso, aproximadas, dependientes del contexto, y no deben tomarse demasiado en serio.

Informar del tamaño del efecto en el contexto de los resultados significativos y no significativos

• En cierto sentido, uno de los objetivos de su investigación es realizar diversas estimaciones cuantitativas de los efectos de sus variables de interés en la población.
• El tamaño del efecto es una cuantificación de una estimación puntual de este efecto. Cuanto mayor sea el tamaño de la muestra, más cerca estará, en general, la estimación puntual de la muestra del verdadero efecto poblacional.
• A grandes rasgos, las pruebas de significación pretenden descartar el azar como explicación de los resultados. Así, el valor p indica la probabilidad de observar un tamaño de efecto tan o más extremo suponiendo que la hipótesis nula fuera cierta.
• En última instancia, se quiere descartar la ausencia de efecto y se quiere decir algo sobre el tamaño del verdadero efecto poblacional. Los intervalos de confianza y los intervalos de credibilidad en torno a los tamaños del efecto son dos enfoques que abordan esta cuestión de forma más directa. Sin embargo, informar de los valores p y las estimaciones puntuales del tamaño del efecto es bastante común y mucho mejor que informar sólo de los valores p o sólo de las medidas del tamaño del efecto.
• Con respecto a su pregunta específica, si tiene resultados no significativos, es su decisión si informa de las medidas del tamaño del efecto. Creo que si tiene una tabla con muchos resultados, tiene sentido tener una columna de tamaño del efecto que se utilice independientemente de la significación. Incluso en contextos no significativos, los tamaños del efecto con intervalos de confianza pueden ser informativos para indicar si los resultados no significativos podrían deberse a un tamaño de muestra inadecuado.