Si estoy seguro en un 80%, ¿hay un 80% de posibilidades de que tenga razón?

Question

Un amigo mío dijo esto, y no pude argumentar por qué pensaba que estaba mal.

Obviamente, en algunas circunstancias es válido, digamos que si se lanza una moneda al aire, y yo digo que estoy 50% seguro de que sale cara.

En una discusión sobre si enviar una "foto de polla" era ilegal, dijo:

Estoy seguro en un 99,3%, así que sólo hay un 0,7% de posibilidades de que me equivoque.

Ahora bien, si partimos de la base de que es ilegal, estaría de acuerdo, pero ¿no hay un 50% de posibilidades de que se equivoque en un 99,3%?

¿Podría alguien explicarme si esto es incorrecto y cómo?

Answer 1

Creo que el principal problema aquí es que "está seguro" es algo más que "tiene razón". Puede estar seguro al 100%, pero aún así está muy equivocado, mientras que cuando hay un 100% de posibilidades de que tenga razón, entonces tiene razón.

En la frase que has resaltado, está asumiendo que el hecho de estar seguro equivale a tener razón. Por supuesto, una frase como

La probabilidad de que tenga razón es del 99,3%, por lo que sólo hay un 0,7% de posibilidades de que me equivoque.

es completamente correcto, pero no sabe la probabilidad de que tenga razón, sólo da un número aleatorio y alto para convencerte.

Answer 2

Una probabilidad es una medida sobre tus creencias y confianza actuales, no una declaración objetiva sobre el mundo exterior.

Supongamos que un crupier saca una carta de la baraja delante de ti y de mí, y la esconde a la vista. El crupier pregunta por la probabilidad de que esa carta sea el as de diamantes.

1. Como no he visto la carta en absoluto, es correcto que diga que creo que hay una probabilidad de 1/52 de que la carta sea el as de diamantes.

2. Accidentalmente viste la tarjeta mientras se sacaba, pero sólo lo suficiente para ver que era una tarjeta roja. Es correcto que digas que crees que hay una probabilidad de 1/26 de que la carta sea el as de diamantes.

3. El crupier ha leído la carta. Es correcto que el crupier diga que hay un 100% de posibilidades (o un 0% de posibilidades) de que la carta sea el as de diamantes.

4. Una cuarta persona se une a la mesa y, sin razón aparente, de repente le asalta la idea de que la carta debería ser el as de diamantes. El recién llegado anuncia que la probabilidad de que la carta sea el as de diamantes es del 99,3%.

Hay una asignación de probabilidad correcta diferente para cada persona. Cada persona espera acertar una determinada fracción de las veces, pero esto se basa en diferentes cantidades de conocimiento. Incluso puede ser como el recién llegado, y asignar un grado de confianza que no está justificado por los datos que tiene.

Yo esperaría que si una persona asigna la probabilidad correcta correspondiente a su nivel de conocimiento (como las tres primeras personas), esa persona debería acertar esa misma fracción de veces. Sin embargo, si una persona asigna probabilidades que no respetan la información que tiene (como la cuarta persona), no hay garantía de que las expectativas coincidan con la realidad.

Answer 3

Por lo que leo, tu amigo afirma que tiene el siguiente "superpoder":

De todas las millones de veces (a lo largo de toda su vida) que afirma estar seguro de algo en un 99,3%, en el 99,3% de los casos resulta que tiene razón. Del mismo modo, en todos los billones de casos (a lo largo de su vida) en los que afirmó estar seguro de algo en un 60%, resultó tener razón en el 60% de los casos y algo similar para el 10%, el 100%, el 5%, etc.

Ahora se pueden decir dos cosas sobre este superpoder.

1. Si uno insiste en hacer afirmaciones sobre niveles de certeza, este es un superpoder increíblemente útil que hay que tener o, al menos, al que hay que aspirar. Proporciona a las afirmaciones una interpretación muy natural que facilita al oyente juzgar su valor.

2. Los seres humanos suelen ser muy malos para calcular las probabilidades, por lo que las posibilidades de que tu amigo tenga realmente el superpoder mencionado son bastante escasas.

Sin embargo, tu amigo no es el único que hace declaraciones de este tipo. El Instituto Nacional del Cáncer de Estados Unidos, por ejemplo, dispone de una "herramienta" que, basándose en una serie de preguntas sobre una persona, genera una probabilidad de que ésta desarrolle un cáncer de mama. (Enlace: https://www.cancer.gov/bcrisktool/ ). Este es un ejemplo en el que los fabricantes se esfuerzan por cumplir lo que yo llamo el "superpoder" anterior. Es decir, la afirmación (en la página "Acerca de" del sitio web) de que el modelo "ha demostrado proporcionar estimaciones precisas del riesgo de cáncer de mama" significa que entre las mujeres para las que predice un riesgo del X%, un número cercano al X% desarrolla realmente cáncer de mama en el intervalo de tiempo dado, y eso para todas las X.

Por supuesto, hay que tener en cuenta los criterios de "proximidad al X%" para que el modelo sea "preciso" y cuánto puede variar esta proximidad o falta de ella en función de X. Hay varias respuestas a esta pregunta, algunas de las cuales se analizan en las referencias de la sección "Acerca de" de la página web.

Answer 4

Si una afirmación es verdadera con $80$ % de certeza, entonces de cada $100$ ensayos, la afirmación será verdadera alrededor de $80$ tiempos. Así que sí, hay un $80$ % de probabilidad de que la afirmación sea verdadera en un ensayo determinado.

Answer 5

Esta cuestión se reduce al concepto estadístico de calibración . Un sistema que hace predicciones (es decir, su amigo) está bien calibrado si sus predicciones probabilísticas se ven confirmadas por la evidencia empírica. Sin saber lo bien calibrado que está tu amigo, es imposible decir si sus estimaciones de probabilidad son fiables. Ciertamente, el hecho de que declare una estimación de probabilidad no hace que lo sea, necesitamos más información sobre si esas estimaciones son buenas o no.

Por ejemplo, si su amigo afirma que está seguro de algo en un 75%, y realmente acierta el 75% de las veces de estas predicciones, está bien calibrado en este rango. Por otro lado, si los acontecimientos que predice que ocurrirán con un 30% de probabilidad ocurren realmente el 50% de las veces, tiende a subestimar la probabilidad y no está bien calibrado.

Si tu amigo está bien calibrado, entonces sí, sus afirmaciones sobre la probabilidad son, de hecho, muy cercanas a la verdadera probabilidad de que ocurra un evento. Si está seguro de algo en un 99,7%, sólo se equivocará 3 de cada 1000 veces. Sin embargo, si tu amigo está mal calibrado, sus estimaciones de probabilidad no tienen ninguna relación con la realidad. Puede estar seguro de algo en un 99,7% y que ocurra el 0% de las veces.

Puedes probar la calibración de tu amigo con una sencilla prueba en línea, que se encuentra en http://calibratedprobabilityassessment.org/ . Este test plantea una serie de preguntas de conocimiento general. El objetivo no es responder correctamente a todas ellas, sino juzgar correctamente su confianza en las respuestas. Para cada pregunta, debe seleccionar una de las dos opciones y calificar su confianza en la respuesta del 50 al 100%. Una persona bien calibrada acertará aproximadamente el 60% de las preguntas de las que está un 60% seguro, el 80% de las preguntas de las que está un 80% seguro y el 100% de las preguntas de las que está seguro.