¿Qué criterios deben cumplirse con el fin de concluir un "efecto techo" está ocurriendo?

Question

Según El SABIO de la Enciclopedia de las Ciencias Sociales Métodos de Investigación...

[a] efecto de techo se produce cuando una medida posee un superior distinto límite para las posibles respuestas y una gran concentración de los participantes de la puntuación en o cerca de este límite. Escala de atenuación es una problema metodológico que se produce siempre que la varianza es restringido en de esta manera. ... Por ejemplo, un efecto de techo puede ocurrir con una medida de actitudes en las que una puntuación alta indica una actitud favorable y la mayor respuesta no logra capturar la mayoría de evaluación positiva posible. ...La mejor solución para el problema del techo de efectos es las pruebas piloto, lo que permite que el problema sea identificado. Si un efecto de techo se encuentra, [y] la medida de resultado es tarea el rendimiento, la tarea puede ser más difícil para incrementar el rango de las posibles respuestas.¹ [énfasis añadido]

No parece ser un montón de consejos y preguntas (y aquí) relacionados con el análisis de los datos que se muestran en el techo efectos similares a la descrita en la cita anterior.

Mi pregunta puede ser simple o ingenuo, pero, ¿cómo realmente detectar que un efecto de techo está presente en los datos? Más específicamente, dicen que un test psicométrico se crea y se sospecha que conducen a un efecto techo (examen visual) y, a continuación, la prueba es revisado para producir un mayor rango de valores. ¿Cómo puede ser demostrado que la versión revisada de la prueba ha eliminado el efecto de techo a partir de los datos que genera? Hay una prueba que muestra que existe un efecto de techo en el conjunto de datos de una pero no hay efecto de techo en el conjunto de datos b?

Mi enfoque ingenuo sería examinar la distribución de sesgar y si no sesgada, a la conclusión de que no hay ningún efecto de techo. Es que demasiado simplista?

Editar

Para añadir un ejemplo más concreto, decir que el desarrollo de un instrumento que mide alguna característica latente x que aumenta con la edad, pero eventualmente se estabiliza y comienza a disminuir en la vejez. Hago la primera versión, que tiene un rango de 1 a 14, hacer un poco de pilotaje, y encontrar que parece ser que hay un efecto de techo (un gran número de respuestas en o cerca de las 14, el máximo.. llego a esta conclusión sólo mirar los datos. Pero, ¿por qué? ¿Hay algún método riguroso de apoyo que dicen?

Entonces me revisar la medida de tener un rango de 1-20 y recopilar más datos. Veo que la tendencia se asemeja más a mis expectativas, pero ¿cómo puedo saber que el rango de medición es lo suficientemente grande. Necesito revisar de nuevo? Visualmente, parece estar bien, pero hay una manera de probarlo para confirmar mis sospechas?

Quiero saber ¿cómo puedo detectar este efecto techo en los datos, en lugar de sólo mirarla. Los gráficos representan los datos reales, no teóricos. Ampliación de la gama del instrumento creado una mejor dispersión de datos, pero, ¿es suficiente? ¿Cómo puedo probar que?

---

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Efecto De Techo. En Michael S. Lewis-Beck, A. Bryman, & Tim Futing Liao (Eds.), El SABIO de la Enciclopedia de las Ciencias Sociales Métodos de Investigación. (p. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135/9781412950589.n102

Answer 1

En primer lugar, me gustaría decir que tanto los gráficos proporcionan evidencia clara para mí que hay un efecto techo presentes. Cómo me gustaría intento de medir el efecto en lugar de solo visualmente sería observar que mientras no trivial de la parte de las observaciones se encuentran cerca del límite superior de la gama. Normalmente se habla de un efecto de techo siempre existirá mientras haya un no-trivial parte de los tomadores de la prueba que conseguir la máxima puntuación en la prueba.

Sin embargo, lo que dijo, la tecnología de análisis de la prueba que ha progresado mucho desde que necesitábamos directamente interpretar las puntuaciones de un instrumento basado en la puntuación correcta. Ahora podemos utilizar la Teoría de Respuesta al Ítem para estimar el elemento de parámetros de los elementos individuales y utilizar esos elementos para identificar a los sujetos de la capacidad. Hay, por supuesto, puede ser todavía techo efectos en una prueba si hacemos la prueba demasiado fácil. Sin embargo, debido a los poderes de la teoría de respuesta al ítem debemos ser capaces de poner al menos un par de elementos de alta bastante dificultad en el instrumento, así como para prevenir, pero sólo una mínima parte de la población golpeando el techo.

Gracias por la pregunta. Es muy interesante!

Answer 2

Supongo que un áspero y listo manera sólo sería para medir la varianza como la que aumenta la escala. Si este muestra una reducción, a continuación, esto es evidencia de un efecto techo y si no, no hay efecto de techo. Usted podría hacer una homogeneidad de la varianza de la parcela. Test de Levene prueba podría ser útil para determinar si la varianza es sig diferentes en diferentes puntos de la escala.