Falacia del francotirador de Texas en análisis exploratorio de datos

Question

Estaba leyendo este artículo en Nature en el que algunas falacias se explican en el contexto de análisis de datos. Me di cuenta de que el Texas tirador de primera falacia fue particularmente difícil de evitar:

Un cognitiva de la trampa que le espera durante el análisis de los datos es ilustrado por la fábula de la Texas tirador: un inepto tirador que dispara un patrón aleatorio de las balas en el lado de un granero, dibuja un destino alrededor el mayor grupo de agujeros de bala, y señala con orgullo en su éxito.

Su diana es obviamente ridículo - pero la falacia no es así obvio a los jugadores que creen en un "mano caliente" cuando tienen un racha de victorias, o a las personas que ven sobrenatural importancia, cuando un los sorteos de la lotería viene como todos los números impares.

Ni siempre es evidente para los investigadores. "Usted acaba de conseguir algunos el aliento de los datos y, a continuación, pensar, bueno, este es el camino a ir abajo", dice Pashler. "No se dan cuenta de que tenía 27 de diferentes opciones y eligió el que te dio la más agradable o resultados interesantes, y ahora estás involucrado en algo que no es toda una representación objetiva de los datos."

Creo que ese tipo de trabajos de exploración es común y, a menudo, las hipótesis se construyen basándose en que parte del análisis. Hay un enfoque completo (EDA) dedicados a este proceso:

Análisis exploratorio de datos fue promovido por John Tukey para fomentar los estadísticos para explorar los datos, y, posiblemente, de formular hipótesis que podría conducir a la obtención de nuevos datos y experimentos

Se ve como cualquier proceso de exploración se realiza sin tener una hipótesis de antemano es propenso a generar falsos hipótesis.

Observe que la descripción de EDA arriba en realidad habla sobre new data collection and experiments. Entiendo que después de que los datos han sido recogidos, a continuación, una confirmación de análisis de datos (CDA) es la adecuada. Sin embargo, no creo que esta distinción es muy clara, y a pesar de una separación de la EDA y CDA sería lo ideal, sin duda hay algunas circunstancias en las que esto no es factible. Yo iría tan lejos como para decir que después de esta separación estrictamente es poco frecuente y la mayoría de los practicantes no suscribirse a la EDA de paradigma en todos.

Así que mi pregunta es: ¿EDA (o cualquier proceso informal de la exploración de datos), es más probable caída para el Texas tirador de primera falacia?

Answer 1

Si uno considera el papel de EDA estrictamente como la generación de hipótesis, entonces no la falacia del francotirador no se aplica. Sin embargo, es muy importante que los ensayos confirmatorios posteriores son de hecho independientes. Muchos investigadores intentan "conciliar las diferencias" con cosas como el análisis agrupados, meta análisis y métodos bayesianos. Esto significa que al menos algunas de las pruebas presentadas en este análisis incluye "el círculo alrededor de los orificios de bala al azar".

Answer 2

Esto pinta muy negativa de análisis exploratorio de datos. Mientras que el argumento no está mal, es realmente diciendo: "¿qué puede salir mal cuando yo uso una herramienta muy importante en el mal?"

Aceptar sin corregir los valores de p de EDA métodos de plomo enormemente inflados tipo I tasas de error. Pero creo que de Tukey no sería feliz con alguien haciendo esto. El punto de EDA no es para hacer conclusiones definitivas acerca de las relaciones en los datos, sino más bien para buscar posibles nuevas relaciones en los datos para el seguimiento.

Salir de este paso en el mayor proceso científico es esencialmente paralizando la ciencia nunca será capaz de encontrar nuevos aspectos interesantes de nuestros datos, fuera de la pura deducción lógica. Nunca intente utilizar la lógica para deducir cómo a través de la expresión de un conjunto de genes afectan a la supervivencia de una célula? Sugerencia: no es muy fácil (uno de nuestros favoritos de chistes entre la bioinformática personal en mi trabajo fue cuando un físico le preguntó "¿por Qué no acaba de simular las propiedades físicas de las diferentes interacciones entre los genes? Es de un número finito de parámetros de espacio.")

Personalmente, creo que la confusión acerca de esto puede conducir a una gran desaceleración en el progreso científico. También sé que muchos no estadísticos investigadores que afirman que ellos no quieren hacer EDA procedimientos preliminar de los datos, porque "saben que el EDA puede ser malo".

En conclusión, es absolutamente cierto que el uso de EDA métodos y tratándolos como confirmación de datos métodos de análisis que se va a llevar a resultados no válidos. Sin embargo, la falta de uso adecuado de la EDA puede conducir a resultados casi nulos.

Answer 3

Se ve como cualquier proceso de exploración se realiza sin tener una hipótesis de antemano es propenso a generar falsos hipótesis.

Me gustaría temperamento de esta declaración y expresarlo de manera un poco diferente: la Elección de una hipótesis para la prueba basada en los datos socava la prueba si uno no usa el correcto hipótesis nula. El empuje de la Naturaleza artículo es, esencialmente, que es fácil para los analistas de engañarse a ellos mismos a ignorar todas las comparaciones múltiples que están implícitamente decisiones durante la exploración.

La naturaleza cita a Andrew Gelman, pero no menciona su papel con Eric Loken sobre este tema. Un extracto:

Cuando las críticas de comparaciones múltiples han llegado en lo que respecta a algunos de los papeles que discutir aquí, los investigadores nunca responden que ellos habían elegido, todos los detalles de su procesamiento de datos y el análisis de los datos antes de tiempo; por el contrario, afirman que tomaron sólo una para el análisis de los datos particulares que vieron. Intuitivo como esta defensa puede parecer, no se ocupa de la fundamental frecuentista preocupación de comparaciones múltiples.

Otro:

No es que los investigadores realizaron cientos de diferentes comparaciones y recogió a los que fueron estadísticamente significativas. Más bien, el inicio es un poco formados idea en su mente de lo que la comparación a realizar, y que perfeccionar esa idea en la luz de los datos. Vieron a un patrón en rojo y rosa, y combinar los colores.

De manera sucinta:

Hay un uno-a-muchos de asignación científica de estadística de hipótesis.

Y uno más, el énfasis es mío:

En todos los casos que hemos mencionado, el análisis publicado tiene una historia, que es consistente con la hipótesis científicas que han motivado el trabajo, pero otros patrones de datos (lo cual, dado el tamaño de la muestra, que fácilmente podría haber ocurrido por casualidad) naturalmente, han llevado a diferentes análisis de datos (por ejemplo, un enfoque en los efectos principales en lugar de las interacciones, o una opción diferente de los subconjuntos de datos para comparar), que igualmente podría haber sido utilizado para apoyar la hipótesis de investigación. El resultado es, como hemos escrito en otro lugar, una especie de máquina para la producción y difusión de patrones aleatorios.

En resumen, no es que el EDA se dirige a un "espurio " hipótesis"; es que la prueba de una hipótesis con el mismo conjunto de datos que le solicite la hipótesis puede conducir a la presencia de falsas conclusiones.

Si usted está interesado en la conquista de este obstáculo, Gelman tiene otro papel argumentando que muchos de estos problemas desaparecen en un marco Bayesiano, y el papel con Loken referencias "pre-publicación de la replicación" como anecdóticamente se describe en la primera sección de este documento.

Answer 4

Casi por definición, sí, por supuesto EDA sin CDA atrae Texas tiradores.

La dificultad al CDA no es posible (tal vez no hay más datos pueden ser obtenidos) está en ser honesto con usted acerca de cómo muchas de las pruebas que he realizado, y por lo tanto en la asignación de algún tipo de $p$-valor a su descubrimiento. Incluso en los casos cuando el espacio de búsqueda, en principio, podría ser tomado en cuenta, el $p$-cálculo del valor se hace mal o no del todo: ver wikipedia para un ejemplo notorio.

Answer 5

Sólo para añadir a la ya gran respuestas: Hay un término medio entre un CDA y la aceptación de su EDA resultados a su valor nominal. Una vez que hayas encontrado una posible característica de interés (o hipótesis), se puede obtener una idea de su robustez mediante la realización de la validación cruzada (CV) o simulaciones bootstrap. Si los resultados dependen de sólo un par de observaciones clave, entonces CV o Bootstrap mostrará que muchos de los pliegues(CV) o boostrap muestras de no reproducir la característica que se observa.

Este no es un método infalible, pero es un buen control intermedio antes de pasar por una completa CDA (o a propósito de sostener un "conjunto de validación" de su inicial pool de datos).