Intuición estadística/sentido de los datos

Question

Soy un estudiante de segundo año de licenciatura, estudiando Matemáticas, y he estado hablando bastante con uno de mis profesores sobre la diferencia entre la habilidad matemática y la habilidad estadística. Una de las diferencias clave que sacó a relucir fue el "sentido de los datos", que explicó como una combinación de habilidad técnica mientras se opera dentro de un conjunto de lo que llamaré informalmente "restricciones de sentido común", es decir, no perder de vista la realidad del problema en medio de mucha teoría. Este es un ejemplo de lo que decía, que apareció en el blog de Gowers:

En varias partes del Reino Unido, la policía recopiló estadísticas sobre los lugares en los que se producían accidentes de tráfico, identificó los puntos negros de accidentes, colocó cámaras de control de velocidad allí y recopiló más estadísticas. Se observó una clara tendencia a reducir el número de accidentes en estos puntos negros tras la instalación de los radares. ¿Demuestra esto de forma concluyente que los radares de velocidad mejoran la seguridad vial?

La misma persona que argumentó a favor de la estrategia aleatoria en el juego de la negociación básicamente ya sabía la respuesta a esta pregunta. Dijo que no, ya que si se eligen los casos extremos, se espera que sean menos extremos si se vuelve a realizar el experimento. Decidí pasar rápidamente de esta pregunta, ya que no había mucho más que decir. Pero le conté a la gente un plan que había tenido, que era hacer un falso experimento de telepatía. Les haría adivinar los resultados de 20 lanzamientos de monedas, que yo intentaría transmitirles telepáticamente. Entonces elegía a los tres mejores y a los tres peores, y volvía a lanzar las monedas, esta vez pidiendo a los mejores que me ayudaran a transmitir las respuestas a los peores. La gente podía ver fácilmente que se esperaría que las actuaciones mejoraran y que no tendría nada que ver con la telepatía.

Lo que pregunto es cómo aprender más sobre este "sentido de los datos" En el caso de que exista alguna publicación sobre el tema, o de lo que otros usuarios hayan encontrado útil para desarrollar esta habilidad. Lo siento si esta pregunta necesita ser aclarada; si es así, ¡publique sus preguntas! Gracias.

Answer 1

En primer lugar, diría que no hay que despreciar las matemáticas. Es una herramienta importante en el desarrollo de la teoría estadística y los métodos estadísticos se justifican con la teoría. La teoría también te dice qué está mal y qué técnicas podrían ser mejores (por ejemplo, más eficientes). Así que creo que el conocimiento y el pensamiento matemático son importantes (casi necesarios) para ser un buen estadístico. Pero definitivamente no es suficiente. Creo que los libros mencionados en los comentarios son buenos. Permítanme dar algunos otros.

Dar sentido a los datos: Una guía práctica para el análisis exploratorio de datos y la minería de datos

Making Sense of Data II: A Practical Guide to Data Visualization, Advanced Data Mining Methods, and Applications

Pensamiento estadístico: Mejora del rendimiento empresarial

El papel de las estadísticas en la empresa y la industria

Una carrera en estadística: Más allá de los números

Los libros de Hahn y Snee son especialmente valiosos e interesantes porque se trata de famosos estadísticos industriales con conocimientos matemáticos y experiencia práctica.

Answer 2

En el ejemplo que mencionas, la cuestión central es la inferencia causal. Un buen punto de partida para la inferencia causal es este triple reseña de libros de Andrew Gelman, y los libros reseñados en él. Además de aprender sobre la inferencia causal, debe aprender sobre el valor del análisis exploratorio de datos, la descripción y la predicción.

He aprendido mucho oyendo a los científicos sociales criticar las investigaciones de los demás en los trabajos publicados, blogs En los seminarios y en las conversaciones personales, hay muchas maneras de aprender. Sigue este sitio y el blog de Andrew Gelman.

Por supuesto, si quieres tener sentido de los datos, necesitas practicar con datos reales. Hay habilidades generales de sentido de los datos, pero también hay sentido de los datos que es específico para un área de problemas, o incluso más específicamente, sentido de los datos específico para un conjunto de datos en particular.

Answer 3

Un buen recurso gratuito es la Wiki de Chance News . Tiene muchos ejemplos extraídos de ejemplos reales junto con la discusión de los puntos buenos y malos de cómo la gente interpreta los datos y las estadísticas. A menudo también hay preguntas de discusión (parte de la motivación de la vista es dar a los profesores de estadística ejemplos del mundo real para discutir con los estudiantes).

Answer 4

¡+1 por una gran pregunta! (Y +1 a todos los que han respondido hasta ahora).

Creo que existe el sentido de los datos, pero no creo que haya nada místico en ello. La analogía que yo utilizaría es la de conducir. Cuando estás conduciendo por la carretera, simplemente conozca lo que ocurre con los otros coches. Por ejemplo, sabes que el que va delante de ti a un lado está buscando la señal de la calle donde se supone que debe girar, aunque no esté utilizando el intermitente. Identificas automáticamente al conductor lento y demasiado precavido y anticipas cómo reaccionará en diferentes situaciones. Puedes detectar al adolescente que sólo quiere correr lo más rápido posible. Tienes un sistema basado en el reconocimiento sentido de lo que hacen todos los coches. Esto es exactamente lo mismo que el sentido de los datos. Viene de la experiencia, lotes de la experiencia. Si se conoce lo suficiente la teoría, sólo hay que empezar a jugar con conjuntos de datos reales. Quizá te interese explorar un sitio como DASL . Sin embargo, una de las condiciones es que no debería limitarse a cargar un conjunto de datos, ejecutar una prueba y obtener un valor p. Tendrás que explorar los datos, probablemente trazarlos de diferentes maneras, ajustar algunos modelos y pensar en lo que está pasando. (Obsérvese que EDA ha sido un hilo conductor aquí).

Un hecho posiblemente no evidente de este proceso, es que el sentido de los datos puede localizarse en un área temática determinada. Por ejemplo, puedes tener mucha experiencia trabajando con datos experimentales y ANOVAs, pero no necesariamente tener un buen sentido de lo que ocurre cuando miras datos de series temporales o datos de supervivencia.

Permítanme añadir una estrategia más que me ha resultado enormemente útil: Creo que merece la pena aprender un poco de programación (estadística). No tienes que ser muy bueno en ello (soy conocido por escribir código "cómicamente ineficiente"). Sin embargo, una vez que puedas escribir algún código de procedimiento básico (digamos en R ), puede simular . Me sería difícil exagerar lo mucho que puede ayudar el hecho de poder realizar incluso simulaciones muy sencillas. Una de las cosas que puedes utilizar es que, cuando en el curso de tus estudios leas sobre alguna propiedad, puedes explorarla. Por ejemplo, si sabes (de forma abstracta) que es difícil determinar empíricamente si un modelo logit o probit es mejor para un conjunto de datos, puedes codificar simples simulaciones de este y jugar con ellos para comprender mejor la idea. Esto también le proporcionará experiencia, pero de un tipo ligeramente diferente, y también le ayudará a desarrollar su sentido de los datos.