¿Cómo sabemos que los resultados del LHC son sólidos?

Question

Artículo sobre la naturaleza sobre la reproducibilidad en la ciencia.

Según ese artículo, un (sorprendente) gran número de experimentos no son reproducibles, o al menos se ha intentado reproducirlos sin éxito. En una de las cifras, se dice que el 70% de los científicos de física e ingeniería no han podido reproducir los resultados de otros, y el 50% no han podido reproducir los suyos.

Evidentemente, si algo no puede reproducirse, su veracidad queda en entredicho. También está claro que, como sólo hay un acelerador de partículas con la potencia del LHC en el mundo, no podemos reproducir de forma independiente los resultados del LHC. De hecho, dado que el 50% de los experimentos de física e ingeniería no son reproducibles por los científicos originales, cabe esperar que haya un 50% de posibilidades de que si las personas que construyeron originalmente el LHC construyeran otro LHC, no llegaran a los mismos resultados. ¿Cómo sabemos entonces que los resultados del LHC (como el descubrimiento del bosón de Higgs) son robustos? ¿O acaso no sabemos que los resultados del LHC son robustos, y estamos procediendo con fe en que lo son?

EDITAR: Como ha señalado Chris Hayes en los comentarios, he interpretado mal el artículo de Nature. Dice que el 50% de los científicos físicos no han podido reproducir sus propios resultados, lo que no es la misma afirmación que el 50% de los experimentos de física no son reproducibles. Esto alivia significativamente la preocupación que tenía cuando escribí la pregunta. Sin embargo, dejo la pregunta aquí, porque la idea central -¿cómo podemos saber que los resultados del LHC son robustos cuando sólo tenemos un LHC? - sigue siendo la misma, y porque innisfree escribió una excelente respuesta.

Answer 1

Esa es una gran pregunta. El ' crisis de replicación ' es que muchos efectos en las ciencias sociales (y, aunque en menor medida, en otros campos científicos) no han podido ser reproducidos. Hay muchos factores que conducen a este fenómeno, entre ellos

• Estándares débiles de evidencia, por ejemplo, $2\sigma$ pruebas necesarias para demostrar un efecto
• Los investigadores (inconscientemente o no) que realizan mala práctica científica informando y publicando selectivamente los resultados significativos. Por ejemplo, considerando muchos efectos diferentes hasta encontrar un efecto significativo o recogiendo datos hasta encontrar un efecto significativo.
• Escasa formación en métodos estadísticos.

No estoy del todo seguro de los esfuerzos exactos que están haciendo los experimentos del LHC para asegurarse de que no sufren los mismos problemas. Pero permíteme decir algunas cosas que al menos deberían tranquilizarte:

• La física de partículas suele exigir un alto nivel de pruebas para los descubrimientos ( $5\sigma$ ). Para ponerlo en perspectiva, las tasas de error de tipo 1 correspondientes son $0.05$ para $2\sigma$ y sobre $3\times10^{-7}$ para $5\sigma$
• Los resultados del LHC ya están replicados.
  • Hay varios detectores colocados alrededor del anillo del LHC. Dos de ellos, llamados ATLAS y CMS, son detectores de propósito general para la física del Modelo Estándar y más allá del Modelo Estándar. Ambos han encontrado pruebas convincentes del bosón de Higgs. En principio son completamente independientes (aunque en la práctica el personal cambia de experimento, los experimentadores de cada experimento presumiblemente hablan y se relacionan entre sí, por lo que posiblemente exista una pequeña dependencia en las elecciones de análisis, etc.).
  • El Tevatron, un experimento de colisión similar en Estados Unidos que funciona a energías más bajas, encontró pruebas directas del bosón de Higgs.
  • El bosón de Higgs fue observado en varios conjuntos de datos recogidos en el LHC
• El LHC (normalmente) publica los resultados independientemente de su importancia estadística, es decir, los resultados significativos no se comunican de forma selectiva.
• Los equipos de LHC se guían por comités estadísticos, lo que permite garantizar las buenas prácticas
• En principio, el LHC está comprometido con los datos abiertos, lo que significa que muchos de los datos deberían hacerse públicos en algún momento. Esta es una recomendación para ayudar a la crisis de las ciencias sociales.
• La formación típica de los experimentadores del LHC incluye la estadística básica (aunque, según mi experiencia, los experimentadores del LHC siguen estando sujetos a la misma trampas e interpretaciones erróneas como todos los demás).
• Todos los miembros (miles) de los equipos experimentales son autores de los trabajos. El incentivo para las malas prácticas como $p$ -se presume que se ha rebajado un poco, ya que no se puede "descubrir" un nuevo efecto y publicarlo sólo con el propio nombre, y tener mejores perspectivas de trabajo/subvención. Este incentivo podría ser un factor de la crisis de replicación en las ciencias sociales.
• Todos los trabajos se someten a una revisión interna (que tengo entendido que es bastante rigurosa) y a una revisión externa por parte de una revista
• Los análisis del LHC suelen ser (no estoy seguro de quién planifica o decide esto) ciegos. Esto significa que los experimentadores no pueden modificar los análisis en función del resultado. Están "ciegos" al resultado, hacen sus elecciones, y luego lo descifran sólo al final. Esto debería ayudar a evitar $p$ -hacking
• Los análisis del LHC suelen informar (aunque no siempre) de un $p$ -que se ha corregido para tener en cuenta las comparaciones múltiples (el efecto de buscar en otro sitio).
• El bosón de Higgs (o una física nueva similar) era teóricamente necesario debido a un teorema de "no pérdida" sobre la ruptura de los modelos sin un Higgs a las energías del LHC, por lo que podemos estar aún más seguros de que es un efecto genuino. Los otros efectos nuevos que se están buscando en el LHC, sin embargo, podría decirse que no están tan bien motivados, por lo que esto no se aplica a ellos. Por ejemplo, no había una motivación a priori para un Resonancia de 750 GeV que se insinuó en los datos pero que finalmente desapareció.

En todo caso, existe la sospecha de que las prácticas del LHC podrían incluso dar lugar a lo contrario de la "crisis de la replicación"; los análisis que encuentren efectos algo significativos podrían ser examinados y ajustados hasta que disminuir . En este documento se argumentó que este era el caso de las búsquedas de SUSY en la ejecución-1.

Answer 2

Además de la excelente lista de innisfree, hay otra diferencia fundamental entre los experimentos de la física moderna y los experimentos con humanos: Mientras que estos últimos tienden a ser exploratorio En la actualidad, los experimentos de física son principalmente confirmación .

En particular, tenemos teorías (a veces competitivas) que modelan nuestra idea de cómo funciona la física. Estas teorías hacen predicciones específicas sobre los tipos de resultados que deberíamos ver, y los experimentos de física se construyen generalmente para discriminar entre las diversas predicciones, que son típicamente de la forma "este efecto ocurre o no" (apagado del chorro, dispersión en la velocidad de la luz debido al espacio cuantizado), o "esta variable tiene algún valor" (la masa del bosón de Higgs). Usamos simulaciones por ordenador para producir imágenes de cómo serían los resultados en los diferentes casos y luego comparamos los datos experimentales con esos modelos; casi siempre, lo que obtenemos coincide con uno u otro de los casos sospechados. De este modo, los resultados experimentales en física rara vez son chocantes.

Sin embargo, en ocasiones, lo que vemos es algo realmente inesperado, como la vez que OPERA parecía haber observado un movimiento más rápido que la luz -o, para el caso, El experimento de la lámina de oro de Rutherford . En estos casos, se tiende a dar prioridad a la reproducción del efecto, si es posible, y a la explicación de lo que está ocurriendo (que normalmente tiende a ser un error de algún tipo, como el cable mal conectado en OPERA, pero a veces revela algo totalmente nuevo, que entonces tiende a convertirse en objeto de intensa investigación hasta que el nuevo efecto se entiende lo suficientemente bien como para empezar a hacer modelos de él de nuevo).

Answer 3

El artículo parece ser un análisis estadístico de opiniones, y en ningún caso es lo suficientemente riguroso como para plantear una cuestión sobre el LHC. Se trata de estadísticas sobre estadísticas no reveladas.

He aquí un ejemplo más sencillo para las estadísticas de fallos: Tomemos un atleta olímpico. ¿Cuántos fracasos hubo antes de batir el récord? ¿No se ha batido el récord porque puede haber habido mil fallos antes de batirlo?

¿Qué pasa con los cientos de atletas que intentan reproducirse y conseguir un mejor registro? ¿No deberían intentarlo?

La estadística de los experimentos fallidos es similar: hay un objetivo (en realidad miles de objetivos dependiendo de la disciplina física), y un número de ensayos para alcanzar el objetivo, aunque la analogía del récord olímpico no debe llevarse demasiado lejos, sólo para señalar la dificultad de combinar estadísticas de un gran número de conjuntos. En física puede haber suposiciones erróneas, callejones sin salida, errores lógicos... que pueden contribuir al fracaso de la reproducibilidad. El nivel de confianza de los errores estadísticos y sistemáticos se utiliza para definir la solidez de una medición.

de la pregunta:

"porque el 50% de los experimentos de física e ingeniería no son reproducibles por los científicos originales",

Este es un declaración falsa de una encuesta dudosa. El significado estadístico del "no reproducible" no se ha comprobado en la encuesta. Sólo si fuera un resultado de una desviación estándar , existe casi un 50% de probabilidad de la siguiente prueba para no reproducirse.

se puede esperar que haya un 50% de posibilidades de que si las personas que construyeron originalmente el LHC construyeran otro LHC, no llegarían a los mismos resultados

De ninguna manera, porque los análisis de ingeniería y física en el LHC superan el nivel 4 sigma, y la probabilidad de negación es pequeña. Incluso un nivel de 3sigma tiene una confianza del 99% Así que la probabilidad no es en absoluto del 50%.

Sabemos que los resultados del LHC son robustos porque hay dos experimentos importantes y muchos más pequeños que intentan alcanzar los mismos objetivos. La razón por la que hay dos experimentos es para que los errores sistemáticos en uno de ellos no den resultados espurios. Confiamos en que las estadísticas de las mediciones que dan los resultados finales son correctas, al igual que confiamos en que los tiempos y distancias medidos son correctos.

(Y el LHC no es un experimento. Es el lugar donde se pueden llevar a cabo los experimentos en función de los esfuerzos y el ingenio de los investigadores, es el campo donde se desarrollan las olimpiadas).

La solidez de los resultados científicos depende de las mediciones experimentales específicas, no de la integración de todos los experimentos dispares que se hayan realizado. Mal uso de la estadística. La estadística de las estadísticas, es decir, el nivel de confianza de los "experimentos fallidos" debe hacerse con rigor y el documento no lo hace.

Otra forma de verlo: Si no hubiera fracasos, ¿significarían algo los experimentos? Serían predecibles con lápiz y papel.

Answer 4

Cualquier experimento se repite muchas veces con el mismo equipo. Buscan sucesos raros, y hacen falta muchos sucesos raros para estar seguros de que no son una mera coincidencia.

La cuestión de cuántos LHC se necesitan para estar seguros es diferente.

Cada uno de los componentes del LHC tuvo que ser probado cuidadosamente para asegurarse de que cumplía las especificaciones. Recuerde el ejemplo del experimento que parecía obtener un resultado ligeramente más rápido que la luz. Como era tan importante, hicieron grandes gastos para probar todo, componentes de todo el mundo, hasta que encontraron dos componentes que estaban fuera de especificación, que crearon el pequeño error. Si el error hubiera sido en la otra dirección, ¿habrían hecho esas pruebas? No. Ni siquiera habrían notado el error. No sería importante. Lo que hizo que este fuera importante fue la velocidad de la luz. ¿Registraron cuidadosamente todos los componentes fuera de especificación que encontraron y que tendían a ralentizar la señal, que podrían anular los errores positivos que encontraron? Tal vez. Pero no era eso lo que buscaban. Eso era una complicación y no una solución al problema.

Una vez instalados los componentes probados del LHC, hay que volver a probarlos en caso de que se hayan modificado durante su manipulación.

Luego hay que calibrarlos. Cada salida analógica podría tener una línea de base que está un poco apagada, debido a cosas aleatorias. Una unión soldada que es ligeramente diferente. Un circuito de CA cercano que cambia las cosas un poco cada 120º de segundo. La línea de base debe ser calibrada para cada uno de ellos. Una vez que la señal ha sido convertida a digital entonces está bien. Los errores más pequeños que el corte se ignoran, y los errores más grandes hacen una diferencia de un bit. Para la calibración, se sabe cuál debe ser el resultado, así que se ajusta a eso.

¿Podría todo esto haber cambiado de algún modo los resultados, de modo que algunos resultados extremadamente improbables se notifican falsamente con más frecuencia de lo que deberían?

No hay ninguna razón teórica para esperarlo. Y los ingenieros que montaron el LHC fueron muy muy cuidadosos. Pero, ¿cómo podríamos probarlo? La forma obvia es construir al menos 2 LHC más y observar la consistencia de sus resultados. Eso sería muy caro. No se hará.

Podemos obtener cierta confianza observando los resultados de otras máquinas. Es como el LHC se utilizó para buscar una amplia gama de posibles resultados que podrían llamarse el bosón de Higgs. Podrían hacer en años lo que una máquina menor podría tardar siglos en hacer. Pero una vez que tenemos un bosón de Higgs específico para buscar, algunos de los otros pueden buscar eso específicamente y ver si lo encuentran. Si lo hacen, entonces es probable que haya algo ahí más allá del error del equipo.

Otra cosa que pueden hacer (que creo que están haciendo en parte) es buscar cosas que se supone que no van a pasar y que nadie predice que van a pasar. Cuando encuentren una con seguridad entonces todo el mundo se emocionará. La gente dirá que hay algo que está mal, e insistirá en que comprueben todos los errores posibles que podrían dar ese resultado. Como con lo de la velocidad de la luz.

Answer 5

Los experimentos del LHC no sólo se reproducen muchas veces, sino que, según recuerdo, para obtener resultados importantes tienen dos equipos independientes trabajando en diferentes versiones del mismo experimento.

No obstante, cabe señalar que los físicos experimentales suelen adoptar un enfoque diferente y más riguroso de sus resultados que los teóricos. Por ejemplo, los teóricos han querido afirmar que se ha producido el plasma de quarks-gluones predicho, pero los grupos experimentales son más cautelosos a la hora de sacar conclusiones precipitadas, diciendo, por ejemplo,

"Sin embargo, los análisis detallados de los datos también dejan claro que este medio caliente y denso tiene propiedades que son sorprendentes, y que aún no se entienden del todo en términos de las primeras expectativas para el plasma de quarks y gluones." --- Relativistic Heavy Ion Collider, Brookhaven National Laboratory, 2005, Hunting the Quark Gluon Plasma, resultados de los tres primeros años. Informe formal, BNL -73847-2005

Parece que la nueva forma de materia se comporta más como un líquido que como un plasma, como si estuviera compuesta por partículas constituyentes que tienden a fluir juntas y no al azar, como predice la libertad asintótica. En ausencia de cálculos viables que muestren exactamente cómo debería comportarse la sopa de quarks, es difícil evaluar las implicaciones para la cromodinámica cuántica.

Asimismo, aunque está claro que han encontrado una partícula llamada Higgs, no hay precisamente ninguna prueba empírica que relacione esa partícula con el mecanismo inobservable de Higgs creado por los teóricos.