La ausencia de pruebas no es una prueba de ausencia: ¿Qué dice la probabilidad bayesiana al respecto?

Question

Un famoso aforismo del cosmólogo Martin Rees(*) dice "la ausencia de evidencia no es evidencia de ausencia" . Por otro lado, citando a Wikipedia:

En los experimentos científicos cuidadosamente diseñados, incluso los resultados nulos pueden ser una prueba de ausencia. Por ejemplo, una hipótesis puede ser falsada si no se encuentra empíricamente una observación vital predicha. (En este punto, la hipótesis subyacente puede rechazarse o revisarse y, a veces, incluso pueden justificarse explicaciones adicionales ad hoc). Que la comunidad científica acepte un resultado nulo como prueba de ausencia depende de muchos factores, como el poder de detección de los métodos aplicados, la confianza de la inferencia, así como el sesgo de confirmación dentro de la comunidad.

Por tanto, en aras del progreso científico, acabamos aceptando la ausencia de pruebas como prueba de ausencia. Esto también está en el corazón de dos analogías muy famosas, a saber La tetera de Russell y El Dragón de Carl Sagan en el garaje .

Mi pregunta es: ¿Cómo podemos justificar formalmente, basándonos en la teoría de la probabilidad bayesiana, que la ausencia de pruebas puede utilizarse legítimamente como prueba de ausencia? ¿Bajo qué condiciones es eso cierto? (se espera que la respuesta dependa de los detalles específicos del problema, como el modelo que asumimos, la ganancia de información proporcionada por nuestras observaciones dado el modelo, o las probabilidades previas de las hipótesis competidoras implicadas).

(*) el origen del aforismo parece ser mucho más antiguo, véase por ejemplo este .

Answer 1

Hay una diferencia entre sin mirar y por lo tanto no ver ninguna X, y mirar y no ver cualquier X. Lo segundo es una "prueba", lo primero no.

Así que la hipótesis que se pone a prueba es "Hay un unicornio en ese campo detrás de la colina". Alice se queda donde está y no mira. Si hay un unicornio en el campo, Alicia no ve ningún unicornio. Si no hay un unicornio en el campo, Alicia no ve ningún unicornio. P(no ve ningún unicornio | es unicornio) = P(no ve ningún unicornio | no hay unicornio) = 1. Cuando la hipótesis no supone ninguna diferencia con la observación, la "evidencia" aportada por la observación a la creencia en la hipótesis es cero.

Bob sube a la cima de la colina y mira el campo, y no ve ningún unicornio. Si hubiera un unicornio en el campo, Bob lo vería. Si no hay un unicornio en el campo, Bob no vería ningún unicornio. P(no ve ningún unicornio | hay unicornio) $\neq$ P(no ve ningún unicornio | no ve ningún unicornio). Cuando la hipótesis es verdadera o falsa cambia la probabilidad de la observación, se aporta una evidencia. Mirar y no ver unicornios en el campo es una evidencia positiva de que no hay unicornios en el campo.

Podemos cuantificar las pruebas mediante la probabilidad bayesiana.

$$P(H_1|O)={P(O|H_1)P(H_1)\over P(O)}$$

$$P(H_2|O)={P(O|H_2)P(H_2)\over P(O)}$$

donde $H_1$ es "no hay ningún unicornio en ese campo". $H_2$ es "hay un unicornio en ese campo", y $O$ es "no veo ningún unicornio". Divide uno por el otro:

$${P(H_1|O)\over P(H_2|O)}={P(O|H_1)\over P(O|H_2)}{P(H_1)\over P(H_2)}$$

Toma logaritmos para que la multiplicación sea aditiva:

$$\mathrm{log}{P(H_1|O)\over P(H_2|O)}=\mathrm{log}{P(O|H_1)\over P(O|H_2)}+\mathrm{log}{P(H_1)\over P(H_2)}$$

Lo interpretamos como que la creencia bayesiana a favor de $H_1$ en $H_2$ después de la observación es igual a la evidencia a favor de $H_1$ en $H_2$ que surge de la observación más la creencia bayesiana a favor de $H_1$ en $H_2$ antes de la observación. La evidencia aditiva que surge del experimento se cuantifica como:

$$\mathrm{log}{P(O|H_1)\over P(O|H_2)}$$

Alice, al no mirar, no tiene pruebas. $\mathrm{log}(1/1)=0$ . Bob, al mirar y no ver, lo hace. $\mathrm{log}(1/0)=\infty$ , lo que significa una certeza absoluta. (Por supuesto, si hay un 10% de posibilidades de que haya un invisible unicornio en el campo, las pruebas de Bob son $\mathrm{log}(1/0.1)=1$ si utilizamos los logaritmos de base 10. Esto expresa la información utilizando una unidad llamada hartley .)

El dictamen de Rees se basa en que la gente afirma cosas como que no hay unicornios en el universo basándose en haber mirado sólo una pequeña porción de ella y no haber visto ninguno. Estrictamente hablando, hay es evidencia no nula que surge de esto, pero es cercana a cero, estando relacionada con el logaritmo del volumen de espacio y tiempo buscado dividido por el volumen del universo.

En cuanto a la cuestión de los experimentos con hipótesis nulas, el problema es que a menudo no somos capaces de cuantificar la probabilidad de la observación dada una hipótesis alternativa abierta. ¿Cuál es la probabilidad de ver la reacción si nuestra comprensión actual es errónea y alguna teoría física desconocida es verdadera?

Así que fijamos $H_2$ para ser una hipótesis nula que pretendemos falsar, de tal manera que la probabilidad de la observación dada la nula es muy baja. Y suponemos $H_1$ se limita a las teorías alternativas desconocidas en las que la observación es razonablemente probable.

$$\mathrm{log}{P(H_{alt}|O)\over P(H_{null}|O)}=\mathrm{log}{P(H_{alt}|O)\over 0.05}=\mathrm{log}(20\times P(H_{alt}|O))\approx \mathrm{log}20$$

Requiere algunas suposiciones juiciosas sobre la existencia de alternativas plausibles, pero desde un punto de vista bayesiano no se ve diferente a cualquier otro tipo de evidencia.

Answer 2

Bayes dice que está equivocado. Si la observación $O$ proporcionaría apoyo a la teoría $T$ , $$ P(T|O) > P(T) $$ entonces la falta de observación de eso, que denota $\bar O$ debe desfavorecer $T$ , $$ P(T|\bar O) < P(T) $$ Obsérvese que no requerimos ninguna suposición especial.

---

Para ver esto, observe que por el teorema de Bayes, la primera desigualdad implica $$ \frac{P(O|T)}{P(O)} > 1 $$ lo que lleva a $$ 1 - P(\bar O|T) > 1 - P(\bar O) $$ y por lo tanto $$ \frac{P(\bar O|T)} {P(\bar O)} < 1 $$ Por el teorema de Bayes, esto conduce a la segunda desigualdad.

---

En términos sencillos, significa que si un experimento puede encontrar pruebas que apoyen una teoría, entonces realizar el experimento pero no encontrar esas pruebas debe contar como evidencia en contra de la teoría.

Answer 3

Aquí falta un punto importante, pero no es estrictamente estadístico.

Los cosmólogos no pueden hacer experimentos. La ausencia de pruebas en cosmología significa que no hay pruebas disponibles para nosotros aquí en la tierra o cerca de ella, observando el cosmos a través de instrumentos.

Los científicos experimentales tienen mucha más libertad para generar datos. Podríamos tener una ausencia de pruebas porque nadie ha realizado aún el experimento adecuado. Eso no es una prueba de ausencia. También podríamos tenerla porque se realizó el experimento apropiado, que debería haber producido evidencia si el fenómeno en cuestión fuera real, pero no lo hizo. Esto es una evidencia de ausencia. Esta es la idea formalizada por las respuestas más matemáticas aquí, de una forma u otra.

Answer 4

$ {\newcommand\P[1]{\operatorname{P} \left(#1\right) }} {\newcommand\PC[2]{\P{#1 \, \middle| \, #2}}} {\newcommand\A[0]{\text{no evidence}}} {\newcommand\B[0]{\text{absence}}} {\newcommand\PA[0]{\P{\A}}} {\newcommand\PB[0]{\P{\B}}} {\newcommand\PAB[0]{\PC{\A}{\B}}} {\newcommand\PBA[0]{\PC{\B}{\A}}} $ tl;dr - La ausencia de pruebas no es una prueba de ausencia (significativa) cuando las probabilidades de no encontrar pruebas no se ven afectadas (significativamente) por la ausencia.

---

Siguiendo la derivación en Respuesta de @fblundun esta afirmación funciona cuando $$ \PA ~=~ \PAB \,. $$

Tres casos notables:

1. Cuando esta igualdad se mantiene perfecta e incondicionalmente, $$ \PA ~=~ \PAB \,, $$ la reclamación es infalsificable .

   Por ejemplo, pensemos en un unicornio rosa mágico que nos observa desde fuera de la realidad. Pero en ningún caso interactúa físicamente con nosotros: no ejerce ningún efecto físico, ni siquiera gravitatorio. Dado que nunca podemos probar la existencia de este mágico unicornio rosa, es infalsificable. No existe ni no existe realmente; ninguna de las dos afirmaciones tiene sentido.

2. Cuando esta igualdad es aproximadamente cierta, $$ \PA ~\approx~ \PAB \,, $$ entonces es el tipo de escenario donde la gente tiende a decir

   La ausencia de pruebas no es la prueba de la ausencia.

   Por ejemplo, supongamos que un historiador intenta encontrar pruebas de que los pueblos prehistóricos vieron una estrella concreta en el cielo nocturno. Puede que no encuentre, por ejemplo, un dibujo rupestre en el que se represente exactamente esa estrella. Pero como, de todos modos, parece bastante improbable que haya habido un dibujo rupestre de esa estrella exacta, esa ausencia de evidencia (la falta de dibujos rupestres que representen la estrella) no es una gran evidencia de ausencia (evidencia de que los prehistóricos no vieron esa estrella).

3. Cuando esta igualdad no es aproximadamente cierta, $$ \require{cancel} \PA ~\cancel{\approx}~ \PAB \,, $$ entonces la reclamación

   La ausencia de pruebas no es la prueba de la ausencia.

   no funciona realmente.

Básicamente, si no se espera encontrar pruebas de algo aunque sea cierto, entonces no tiene sentido decir que es falso cuando no se encuentran pruebas.

---

Discusión: Cómo funciona el razonamiento bayesiano.

Ingenuamente, la lógica bayesiana requiere que reconozcamos que tenemos algunas creencias preexistentes sobre la probabilidad de las cosas. Luego, a medida que continuamos haciendo observaciones, podemos encontrar pruebas a favor/en contra que ajusten las probabilidades hacia arriba/hacia abajo.

Estrictamente hablando, cualquier cosa que hace que algo sea menos probable es la prueba de ausencia. Por ejemplo, ¿alguien obtuvo una puntuación perfecta en su examen de ortografía de la escuela primaria la semana pasada en tu ciudad? Podrías consultar las noticias locales y, si no ves una noticia sobre ello, eso es técnicamente una prueba en contra (ya que había alguna posibilidad de que se informara, y el hecho de que no se informara excluye esa línea de posibilidades). Pero como fue una rama muy pequeña del espacio de probabilidades (un árbol bayesiano) la que quedó excluida, esta ausencia de evidencia no es una evidencia de ausencia (significativa).

Sin embargo, la ausencia de pruebas puede ser una prueba de ausencia. Por ejemplo, si en tu casa hay un niño que presume mucho cada vez que obtiene una puntuación perfecta en un examen, pero no oíste ningún alarde la semana pasada, eso sería una prueba relativamente significativa de que no obtuvo una puntuación perfecta la semana pasada.

Luego está el caso impar-ball: las hipótesis no falsables. Siempre que una proposición sea verdadera/falsa no tendría literalmente ningún efecto en la realidad, entonces es infalsable. Las afirmaciones infalsificables nunca pueden ser evidenciadas, ni a favor ni en contra, por lo que la afirmación de que la ausencia de evidencia no es evidencia de la ausencia se mantiene perfectamente en esos escenarios. Este punto puede surgir en las discusiones sobre religión.

Answer 5

Creo que Respuesta de @Nat es bueno, pero subestima la importancia del caso en el que $P(\mbox{absence}) \approx P(\mbox{absence} | \mbox{no evidence})$ (o no del todo, pero casi del todo) $P(\text{no evidence}|\text{absence}) \approx P(\text{no evidence})$ ).

El gran problema aquí es que, como regla general, el experimentador no sabe a priori si la igualdad anterior se mantiene, y por lo tanto no es seguro en el caso general asumir que la ausencia de pruebas es la prueba de la ausencia. Tomado en contexto, puede ser posible interpretar la ausencia de evidencia como evidencia de ausencia, pero no se necesariamente se desprende de la otra, y hay que tener mucho cuidado cuando se intenta interpretar la ausencia de pruebas como prueba de ausencia.

Una situación en la que esto ocurre es cuando las pruebas son difíciles de reunir por una u otra razón . Por ejemplo, supongamos que queremos estudiar la diferencia de resultados educativos entre el libro de texto A y el libro de texto B. Damos el libro de texto A a la clase A y el libro de texto B a la clase B, y comparamos sus notas después. Pues bien, desgraciadamente, la clase A y la clase B son potencialmente impartidas por el mismo profesor, que tiene opiniones sobre los libros de texto que, en última instancia, afectan al resultado del experimento, xo las clases A y B son impartidas por diferentes instructores que afectan al resultado del experimento. Además, hay otras dos docenas de factores de confusión con diversos grados de impacto en el resultado del experimento. En última instancia, los datos no muestran nada debido a estas cosas, y hay una ausencia de evidencia que diferencie los resultados del libro de texto A y B. No es que no busquemos, y aunque tal vez el datos eran fáciles de reunir, cualquier potencial pruebas era difícil de reunir. Por ejemplo. $P(\text{no evidence}) \approx P(\text{no evidence} | \text{absence}) \approx 1$ . En el contexto bayesiano, si las pruebas son imposibles, entonces no se puede actualizar la prioridad. En el mundo real, si se estudia la gravedad en el vacío, tal vez no haya que preocuparse por esto, pero si se estudia casi cualquier cosa con sujetos humanos, a veces es difícil saber de antemano si el experimento incluso puede de la que se desprende una buena evidencia. En cualquier caso, si los investigadores hacen un experimento y no encuentran un efecto, debería contemplar seriamente $P(\text{no evidence})$ en el contexto del experimento antes de que decidas interpretar una ausencia de pruebas como una prueba de ausencia. Como otra analogía, puedes considerar a un criminal que cubre bien sus huellas: la detective no encuentra pruebas no porque no las haya buscado, sino porque las pruebas eran difíciles de encontrar.

Otro escenario en el que esto ocurre con mucha frecuencia (y algo sorprendente) es cuando $P(\text{absence}) \approx 0$ . Utilizando el mismo ejemplo anterior, considere probar la hipótesis de que $H_1 :=$ el libro de texto A ofrece resultados educativos diferentes, según alguna métrica elegida, que el libro de texto B (que es un tipo de hipótesis increíblemente común de comprobar). Lo contrario (la ausencia) es que el libro de texto A y el libro de texto B tienen resultados idénticos, lo cual es, para la mayoría de los priores, imposible (¡es un solo punto!). Dado que $P(\text{absence}) \approx P(\text{absence} | \text{no evidence}) \approx 0$ Entonces, cuando nuestro estudio no encuentra un efecto, debemos ser muy cuidadosos al decidir que esto presenta una evidencia de la falta de un efecto. Por supuesto, si se utilizan técnicas bayesianas para estudiar el problema, entonces no se "dejará de encontrar un efecto", pero en un análisis bayesiano post hoc del experimento que fue correr (ya que muchos científicos no hacen la cosa bayesiana), no podemos interpretar la ausencia de evidencia como evidencia de ausencia.

Así que, dado un estudio arbitrario que no encuentra un efecto, debería no interpretar esto como una fuerte evidencia de la ausencia de un efecto. Si no se tiene en cuenta el contexto del experimento, ni siquiera debería considerarse una prueba débil de la ausencia de un efecto. Creo que ésta es la esencia del adagio: "la ausencia de evidencia no es [necesariamente] evidencia de ausencia".