¿El análisis de los datos existentes es siempre exploratorio o puede usarse para realizar pruebas de hipótesis?

Question

Esta es una pregunta acerca de la retórica de la descripción del análisis realizado utilizando un conjunto de datos públicos o cualquier otro pre-conjunto de datos existente.

Aquí está la situación hipotética: Un investigador de informes para los que tienen una hipótesis. Para probar esto, se toma una muestra, n, de individuos que cumple con los criterios del estudio de una base de datos de N participantes. Se ejecuta una sola, a priori, la prueba de esta hipótesis en la muestra, y el informe de que la hipótesis de diferencia de grupo, o de correlación, o lo que sea, es mayor que 0, p<.05.

Es este exploratorios o es que es un buen ejemplo de la prueba de hipótesis?

Porque cualquier informó análisis de un conjunto de datos existente podría ser uno de muchos interrogatorios, dicho informe debe ser presentado como exploratoria, en lugar de la prueba de hipótesis. En otras palabras, la presentación de un análisis de un conjunto de datos existente usando la retórica de una sola muestra, prueba de hipótesis parece ser la de inducir a error al lector a la sobre-interpretar los resultados.

Sin embargo, también puedo ver un argumento para el investigador da el beneficio de la duda, como es también el caso en todos los no pre-registrado estudios. En otras palabras, podemos asumir que el investigador hizo probar esta hipótesis en este subconjunto de la base de datos existente?

Answer 1

Yo disagee que todos los análisis de datos pre-existentes son exploratorios. El escenario que usted describe parece como un libro de texto-perfecto ejemplo de una prueba de hipótesis, suponiendo que los investigadores generan sus hipótesis, sin mirar primero los datos. Si se trata realmente de una hipótesis a priori, entonces, ¿qué habría cambiado si salieron y se hicieron mediciones en lugar de sólo descarga los datos?

Problemas con el análisis exploratorio de datos (datos de dragado, las comparaciones múltiples, etc) surgen cuando la hipótesis se forma a partir de los mismos datos que posteriormente se probó. Si su hipotético de que los investigadores habían pulsó a través de los datos y notó un potencial interesante de la relación entre dos factores, un examen posterior de la relación que proporciona un poco más débil evidencia de que si se pusieron a prueba en un nuevo conjunto de observaciones. En algunos casos, puede ser posible para recoger adicional de confirmación de datos; también se podría potencialmente utilizar un subconjunto de los datos para el desarrollo de su modelo y, a continuación, la prueba de que en el resto de los datos (también hay cosas como la validación cruzada si su "exploración" es automático). Yo estaría interesado en saber cómo (por ejemplo) macro economistas lidiar con esto, ya que a menudo trabajan con los datos que se recopilan a través de largas escalas de tiempo, no puede ser re-observó, y los investigadores a menudo son conscientes de muchas de las tendencias en los datos.

Como un asunto práctico, creo que más o menos tienen que tomar los autores en su palabra. Idealmente, los autores explican cómo llegaron a sus hipótesis; es posible, por supuesto, para venir para arriba con algunos torturados post hoc de racionalización demasiado, pero los que a menudo sobresalen del texto. Pre-inscripción, definitivamente sería de ayuda, ha estado pasando por un tiempo para ensayos clínicos y algunos psicólogos están abogando para que las ciencias básicas-tipo de experimentos, pero que plantea que algunos de los grandes obstáculos logísticos.

Por último, en mi interior Bayesiano quiere señalar que los estudios individuales son rara vez vale la pena tanto en el aislamiento; no hay nada malo con la actualización de sus creencias, un poco menos si el estudio fue abiertamente exploratorio o cree que los autores pueden tener asomé.

Answer 2

Los astrónomos y los astro-físicos, predominantemente de uso de datos que otras personas han recogido. Y lo que uno de estos científicos, como recoge la evidencia va a ser utilizado por un montón de otras personas que están haciendo buena ciencia por las pruebas de las buenas hipótesis.

El ejemplo que se describe tomando n de una muestra de N y la realización de la prueba. Que seguramente no es un "buen ejemplo de la prueba de hipótesis" -- ¿por Qué no utilizar el resto de los datos?

Por otro lado, podría ser un ejemplo particular de la evaluación de un estrecho hipótesis para el propósito de rechazarla (o modificación) cuando algo que se supone debe ser una verdad universal no se muestra en este ejemplo que es lo suficientemente grande.

Un "buen ejemplo" va a tener que pertenecen a un nivel suficientemente bien desarrollado narrativa que no es consecuencia de la aceptación o el rechazo. No es "conocido de la ciencia" y la hipótesis tiene una oportunidad de cambio de las expectativas. Un conjunto de datos que probablemente no va a ser la respuesta a todas las preguntas, pero puede ser suficiente para plantear preguntas nuevas.

Lo que esto me ha hecho recordar lo constituye el conjunto de datos analizados para el Efecto Flynn (ver Wikip). El Efecto Flynn es la observación de que las puntuaciones de CI se han incrementado en un par de puntos por década. Un indicador temprano de que fue la observación de que los fabricantes de CI y las pruebas de rendimiento han encontrado que es necesario volver a normalizar sus pruebas cada pocos años con el fin de mantener el CI de media a los 100, etc. En sus inicios, la presencia del Efecto desacreditado la medida en que el coeficiente intelectual de las caídas con el envejecimiento: mayores testees que responder exactamente el mismo que hace 30 o 40 años antes de ser asignado puntuaciones más bajas en una prueba de que no es cohorte ajustado a la edad

Decenas o cientos de conjuntos de datos, en su mayoría recogidos para otros fines, se han investigado en las pruebas subsecuentes de explicaciones alternativas. ¿Qué hace que algunos de estos "buenos ejemplos" de lo bien que dirección específica convincentes argumentos