Es engañoso decir simplemente que las estadísticas son simplemente lo contrario de la probabilidad. Sí, las preguntas estadísticas son preguntas de probabilidad inversa, pero son problemas inversos mal planteados y esto marca una gran diferencia en términos de cómo se abordan.
La probabilidad es una rama de las matemáticas puras: las preguntas de probabilidad pueden plantearse y resolverse utilizando el razonamiento axiomático, y por lo tanto hay una respuesta correcta a cualquier pregunta de probabilidad.
Las preguntas estadísticas pueden ser convertido a las preguntas de probabilidad mediante el uso de modelos probabilísticos . Una vez que hacemos ciertas suposiciones sobre el mecanismo que genera los datos, podemos responder a las preguntas estadísticas usando la teoría de la probabilidad. SIN EMBARGO, la correcta formulación y comprobación de estos modelos de probabilidad es tan importante, o incluso más importante, que el posterior análisis del problema utilizando estos modelos.
Se podría decir que las estadísticas comprenden dos partes. La primera parte es la cuestión de cómo formular y evaluar los modelos probabilísticos para el problema, y este esfuerzo se encuentra dentro del dominio de la "filosofía de la ciencia". La segunda parte es la cuestión de obtener respuestas después de que un determinado modelo ha sido asumido. Esta parte de la estadística es, en efecto, una cuestión de teoría de la probabilidad aplicada y, en la práctica, también una buena parte de análisis numérico.
Mira: http://bactra.org/reviews/error/