53 votos

¿Son todos los modelos inútiles? ¿Es posible, o útil, cualquier modelo exacto?

Esta pregunta lleva más de un mes rondando por mi cabeza. El número de febrero de 2015 de Noticias de Amstat contiene un artículo del profesor de Berkeley Mark van der Laan que regaña a la gente por utilizar modelos inexactos. Afirma que, al utilizar modelos, la estadística es entonces un arte y no una ciencia. Según él, siempre se puede utilizar "el modelo exacto" y que el hecho de no hacerlo contribuye a una "falta de rigor ... Me temo que nuestra representación en la ciencia de los datos se está marginando".

Estoy de acuerdo en que corremos el peligro de quedar marginados, pero la amenaza suele provenir de quienes afirman (sonando mucho como el profesor van der Laan, al parecer) que no están utilizando un método aproximado, pero cuyos métodos son en realidad muy menos rigurosos que los modelos estadísticos cuidadosamente aplicados, incluso los erróneos.

Creo que es justo decir que el profesor van der Laan desprecia bastante a quienes repiten la cita de Box, tan utilizada, de que "todos los modelos son erróneos, pero algunos son útiles". Básicamente, tal y como yo lo leo, dice que todos los modelos son erróneos, y todos son inútiles. Ahora bien, ¿quién soy yo para estar en desacuerdo con un profesor de Berkeley? Por otro lado, ¿quién es él para desestimar con tanta displicencia las opiniones de uno de los verdaderos gigantes de nuestro campo?

El Dr. van der Laan afirma que "es un completo disparate afirmar que todos los modelos son erróneos, ... Por ejemplo, un modelo estadístico que no hace ninguna suposición es siempre verdadero". Y continúa: "Pero a menudo, podemos hacerlo mucho mejor que eso: Podemos saber que los datos son el resultado de $n$ experimentos idénticos e independientes". No veo cómo se puede saber eso excepto en un muestreo aleatorio muy estrecho o en entornos experimentales controlados. El autor señala su trabajo en el aprendizaje de máxima verosimilitud dirigida y en el aprendizaje basado en la pérdida mínima dirigida, que "integra el estado del arte en el aprendizaje automático/la estimación adaptativa de datos, todos los increíbles avances en la inferencia causal, los datos censurados, la eficiencia y la teoría del proceso empírico, al tiempo que proporciona una inferencia estadística formal." Suena muy bien.

También hay algunas afirmaciones con las que estoy de acuerdo. Dice que tenemos que tomarnos en serio nuestro trabajo, nuestro papel como estadístico y a nuestros colaboradores científicos. Muy bien, muy bien. Es ciertamente una mala noticia cuando la gente utiliza rutinariamente un modelo de regresión logística, o lo que sea, sin considerar cuidadosamente si es adecuado para responder a la pregunta científica o si se ajusta a los datos. Y veo muchos abusos de este tipo en las preguntas publicadas en este foro. Pero también veo usos eficaces y valiosos de modelos inexactos, incluso paramétricos. Y al contrario de lo que dice, rara vez me he "aburrido hasta la saciedad con otro modelo de regresión logística". Tal es mi ingenuidad, supongo.

Así que aquí están mis preguntas:

  1. ¿Qué inferencias estadísticas útiles pueden hacerse utilizando un modelo que no hace ninguna suposición?
  2. ¿Existe algún estudio de caso, con datos importantes y reales, sobre el uso de la máxima verosimilitud dirigida? ¿Son estos métodos ampliamente utilizados y aceptados?
  3. ¿Son realmente inútiles todos los modelos inexactos?
  4. ¿Es posible saber que tiene el modelo exacto ¿algo más que casos triviales?
  5. Si esto es demasiado opinable y, por tanto, off-topic, ¿dónde se puede discutir? Porque el artículo del Dr. van der Laan definitivamente necesita ser discutido.

5voto

Chris Cudmore Puntos 634

1) ¿Qué inferencias estadísticas útiles pueden hacerse utilizando un modelo que no hace ninguna suposición?

Un modelo es, por definición, una generalización de lo que se observa que puede ser capturado por ciertos factores causales que a su vez pueden explicar y estimar el evento que se observa. Dado que todos esos algoritmos de generalización tienen algún tipo de supuestos subyacentes. No estoy seguro de qué es lo que queda de un modelo si no tienes ningún tipo de suposición. Creo que te quedas con los datos originales y sin modelo.

2) ¿Existe algún estudio de caso, con datos importantes y reales en el uso de la máxima verosimilitud dirigida? ¿Son estos métodos ampliamente utilizados y aceptados?

No lo sé. La máxima verosimilitud se utiliza todo el tiempo. Los modelos Logit se basan en ellos, así como muchos otros modelos. No difieren mucho de los MCO estándar, en los que te centras en las reducciones de la suma del cuadrado de los residuos. No estoy seguro de lo que es la máxima verosimilitud dirigida. Y en qué se diferencia de la máxima verosimilitud tradicional.

3) ¿Son realmente inútiles todos los modelos inexactos?

En absoluto. Los modelos inexactos pueden ser muy útiles. En primer lugar, contribuyen a comprender o explicar mejor un fenómeno. Eso debería contar para algo. En segundo lugar, pueden proporcionar una estimación y previsión de descenso con el correspondiente intervalo de confianza para captar la incertidumbre que rodea a una estimación. Eso puede proporcionar mucha información sobre lo que se está estudiando.

La cuestión de lo "inexacto" también plantea el problema de la tensión entre la parsimonia y el exceso de ajuste. Se puede tener un modelo simple con 5 variables que sea "inexacto" pero que haga un buen trabajo para capturar y explicar la tendencia general de la variable dependiente. Puede tener un modelo más complejo con 10 variables que sea "más exacto" que el primero (mayor R cuadrado ajustado, menor error estándar, etc.). Sin embargo, este segundo modelo más complejo puede realmente fallar cuando lo pruebe utilizando una muestra Hold Out. Y, en ese caso, puede que el modelo "inexacto" funcione mucho mejor en la muestra Hold Out. Esto sucede literalmente todo el tiempo en econometría y sospecho que en muchas otras ciencias sociales. Tenga cuidado con los modelos "exactos". A menudo pueden ser sinónimos de modelos sobreajustados y modelos mal especificados (modelos con variables no estacionarias que tienen tendencias subyacentes (raíz unitaria) sin ningún significado económico impartido al modelo).

4) ¿Es posible saber que se tiene el modelo exacto salvo en casos triviales?

No es posible saber que tiene el modelo exacto. Pero sí es posible saber que tiene un modelo bastante bueno. Las medidas de los criterios de información (AIC, BIC, SIC) pueden darle mucha información que permite comparar y comparar el rendimiento relativo de varios modelos. Además, la prueba LINK también puede ayudar en este sentido.

5) Si esto es demasiado opinable y, por tanto, fuera de tema, ¿dónde se puede discutir? Porque el artículo del Dr. van der Laan definitivamente necesita ser discutido.

Creo que este es un foro tan apropiado para discutir este tema como cualquier otro. Es un tema bastante interesante para la mayoría de nosotros.

4voto

mandata Puntos 620

(No veo la frase "modelo exacto" en el artículo (aunque se cita arriba))

1) ¿Qué inferencias estadísticas útiles pueden hacerse utilizando un modelo que no hace ninguna suposición?

Hay que empezar por algún sitio. Si eso es todo lo que tienes (nada), puede ser un punto de partida.

2) ¿Existe algún estudio de caso, con datos importantes y reales, sobre el uso de la máxima verosimilitud dirigida? ¿Son estos métodos ampliamente utilizados y aceptados?

Para responder a la segunda pregunta, la Máxima Verosimilitud Dirigida aparece en 93/1143281 (~.008% ) de los artículos en arxiv.org. Así que, no es probablemente una buena estimación (sin suposiciones) a esa.

3) ¿Son realmente inútiles todos los modelos inexactos?

No. A veces sólo te importa un aspecto de un modelo. Ese aspecto puede ser muy bueno y el resto muy inexacto.

4) ¿Es posible saber que se tiene el modelo exacto salvo en casos triviales?

El mejor es el modelo que mejor responde a su pregunta. Eso puede significar dejar algo fuera. Lo que quieres evitar, lo mejor que puedas, es la violación de la suposición.

5) Hora feliz . Además, las bebidas son más baratas.

El uso de la palabra "exacta" me parece un poco inquietante. No es muy propio de un estadístico. ¿Inexactitud? ¿Variación? ¡Gracias a Dios! Para eso estamos todos aquí. Creo que la frase "Todos los modelos son erróneos..." está bien, pero sólo en la compañía adecuada. Los estadísticos entienden lo que significa, pero pocos lo hacen.

2voto

Maiku Mori Puntos 4329

Voy a enfocar esto desde la dirección alternativa de la filosofía, a la luz de los principios realmente útiles de la Gestión de la Incertidumbre discutidos en los libros de George F. Klir sobre conjuntos difusos. No puedo dar a van der Laan la exactitud, pero puedo proporcionar un caso algo exhaustivo de por qué su objetivo es lógicamente imposible; eso va a requerir una larga discusión que hace referencia a otros campos, así que tened paciencia conmigo.

Klir y sus coautores dividen la incertidumbre en varios subtipos, como la inespecificidad (es decir, cuando se tiene un conjunto desconocido de alternativas, que se trata con medios como la función de Hartley); la imprecisión en las definiciones (es decir, la "borrosidad" modelada y cuantificada en los conjuntos difusos); la lucha o discordia en las pruebas (abordada en la teoría de la evidencia de Dempster-Shafer); además de la teoría de la probabilidad, la teoría de la posibilidad y la incertidumbre en la medición, en las que el objetivo es tener un alcance adecuado para capturar las pruebas pertinentes, minimizando los errores. Considero que toda la caja de herramientas de las técnicas estadísticas es un medio alternativo para dividir la incertidumbre de diferentes maneras, como un cortador de galletas; los intervalos de confianza y los valores p ponen en cuarentena la incertidumbre de una manera, mientras que medidas como la Entropía de Shannon la reducen desde otro ángulo. Sin embargo, lo que no pueden hacer es eliminarla por completo. Para conseguir un "modelo exacto" como el que parece describir Van der Laan, tendríamos que reducir todos estos tipos de incertidumbre a cero, de modo que no quedara ninguna partición. Un modelo verdaderamente "exacto" tendría siempre valores de probabilidad y posibilidad de 1, puntuaciones de inespecificidad de 0 y ninguna incertidumbre en las definiciones de los términos, los rangos de valores o las escalas de medición. No habría discordancia en las fuentes de evidencia alternativas. Las predicciones realizadas por un modelo de este tipo serían siempre cien por cien exactas; los modelos de predicción dividen esencialmente su incertidumbre en el futuro, pero no quedaría ninguna para postergar. La perspectiva de la incertidumbre tiene algunas implicaciones importantes:

- Esta tarea no sólo es físicamente inverosímil, sino que es lógicamente imposible. Obviamente, no podemos conseguir escalas de medición perfectamente continuas con grados infinitesimales, reuniendo observaciones finitas con equipos científicos falibles y físicos; siempre habrá cierta incertidumbre en cuanto a la escala de medición. Del mismo modo, siempre habrá cierta imprecisión en torno a las propias definiciones que empleamos en nuestros experimentos. El futuro también es intrínsecamente incierto, por lo que las predicciones supuestamente perfectas de nuestros modelos "exactos" tendrán que ser tratadas como imperfectas hasta que se demuestre lo contrario, lo que llevaría una eternidad.

- Por si fuera poco, ninguna técnica de medición está libre de errores al 100% en algún momento del proceso, ni puede ser lo suficientemente exhaustiva como para abarcar toda la información posiblemente conflictiva del universo. Además, la eliminación de posibles variables de confusión y la completa independencia condicional no pueden probarse a fondo sin examinar todos los demás procesos físicos que afectan al que estamos examinando, así como los que afectan a estos procesos secundarios, etc.

- La exactitud sólo es posible en la lógica pura y su subconjunto, las matemáticas, precisamente porque las abstracciones están divorciadas de las preocupaciones del mundo real, como estas fuentes de incertidumbre. Por ejemplo, mediante la lógica deductiva pura, podemos demostrar que 2 + 2 = 4 y que cualquier otra respuesta es 100% incorrecta. También podemos hacer predicciones perfectamente precisas de que siempre será igual a 4. Este tipo de precisión sólo es posible en estadística cuando se trata de abstracciones. La estadística es increíblemente útil cuando se aplica al mundo real, pero la misma cosa que la hace útil inyecta al menos cierto grado de incertidumbre ineludible, lo que la hace inexacta. Es un dilema inevitable.

- Además, Peter Chu plantea otras limitaciones en la sección de comentarios del artículo al que rvl ha enlazado. Lo explica mejor que yo:

"Esta superficie de solución de los problemas NP-duros suele estar plagada de muchos óptimos locales y en la mayoría de los casos es computacionalmente inviable resolver el problema, es decir, encontrar la solución óptima global en general. Por lo tanto, cada modelizador utiliza algunas técnicas de modelización (heurísticas), en el mejor de los casos, para encontrar los óptimos locales adecuados. para encontrar soluciones óptimas locales adecuadas en el vasto espacio de soluciones de esta compleja función objetivo". espacio de soluciones de esta compleja función objetivo".

- Todo esto significa que la ciencia en sí misma no puede ser perfectamente exacta, aunque van der Laan parece hablar de ella de este modo en su artículo; el método científico como proceso abstracto es definible con precisión, pero la imposibilidad de una medición exacta universal y perfecta significa que no puede producir modelos exactos desprovistos de incertidumbre. La ciencia es una gran herramienta, pero tiene límites.

- A partir de ahí la cosa empeora: Incluso si fuera posible medir exactamente todas las fuerzas que actúan sobre cada quark y gluón constitutivo del universo, algunas incertidumbres todavía permanecer. En primer lugar, cualquier predicción realizada por un modelo tan completo seguiría siendo incierta debido a la existencia de múltiples soluciones para las ecuaciones quínticas y los polinomios superiores. En segundo lugar, no podemos estar completamente seguros de que el escepticismo extremo encarnado en la clásica pregunta "tal vez todo esto sea un sueño o una alucinación" no sea un reflejo de la realidad, en cuyo caso todos nuestros modelos están efectivamente equivocados de la peor manera posible. Esto equivale básicamente a una interpretación ontológica más extrema de las formulaciones epistemológicas originales de filosofías como el fenomenalismo, el idealismo y el solipsismo.

- En su 1909 Ortodoxia clásica G.K. Chesterton señaló que las versiones extremas de estas filosofías sí pueden ser juzgadas, pero por el hecho de que lleven o no a sus creyentes a instituciones mentales; el solipsismo ontológico, por ejemplo, es en realidad un marcador de esquizofrenia, al igual que algunos de sus primos. Lo mejor que podemos conseguir en este mundo es eliminar la duda razonable; la duda irracional de este tipo tan inquietante no puede eliminarse con rigor, ni siquiera en un mundo hipotético de modelos exactos y mediciones exhaustivas y sin errores. Si van der Laan pretende librarnos de la duda irracional, está jugando con fuego. Si nos aferramos a la perfección, el bien finito que podemos hacer se nos escapará de las manos; somos criaturas finitas que existen en un mundo infinito, lo que significa que el tipo de conocimiento completo y totalmente seguro que defiende van der Laan está permanentemente fuera de nuestro alcance. La única forma en que podemos alcanzar ese tipo de certeza es retirándonos de ese mundo a los estrechos confines del perfectamente abstracto que llamamos "matemáticas puras". Esto no significa, sin embargo, que una retirada a las matemáticas puras sea la solución para eliminar la incertidumbre. Este fue esencialmente el enfoque adoptado por los sucesores de Ludwig Wittgenstein (1889-1951), que vació su filosofía del positivismo lógico de cualquier sentido común que tuviera al rechazar la metafísica por completo y retirarse por completo a las matemáticas puras y al cientificismo, así como al escepticismo extremo, la sobreespecialización y el énfasis excesivo en la exactitud sobre la utilidad. En el proceso, destruyeron la disciplina de la filosofía disolviéndola en un marasmo de minuciosidad sobre las definiciones y de mirarse el ombligo, haciéndola así irrelevante para el resto del mundo académico. De este modo, acabaron con toda la disciplina, que hasta principios del siglo XX seguía estando en la vanguardia del debate académico, hasta el punto de que seguía siendo objeto de atención por parte de los medios de comunicación y algunos de sus líderes eran nombres conocidos. Se aferraron a una explicación perfecta y pulida del mundo y se les escapó de las manos, igual que a los enfermos mentales de los que hablaba GKC. También se le escapará de las manos a van der Laan, que ya ha refutado su propio punto de vista, como se comenta a continuación. La búsqueda de modelos demasiado exactos no sólo es imposible, sino que puede ser peligrosa, si se lleva hasta el punto de la obsesión autodestructiva. La búsqueda de ese tipo de pureza rara vez acaba bien; a menudo es tan contraproducente como esos germofóbicos que se frotan las manos tan furiosamente que acaban con heridas que se infectan. Es una reminiscencia de Ícaro tratando de robar el fuego del Sol: como seres finitos, sólo podemos tener una comprensión finita de las cosas. Como también dice Chesterton en Ortodoxia: "Es el lógico el que busca meter los cielos en su cabeza. Y es su cabeza la que se rompe".

A la luz de lo anterior, permítanme abordar algunas de las cuestiones específicas enumeradas por rvl:

1) Un modelo sin suposiciones de ningún tipo o bien a) no es consciente de sus propias suposiciones o bien b) debe estar limpiamente divorciado de las consideraciones que introducen incertidumbre, como los errores de medición, la contabilización de cada una de las posibles variables de confusión, las escalas de medición perfectamente continuas y similares.

2) Todavía soy un novato en lo que se refiere a la estimación de máxima verosimilitud (MLE), así que no puedo comentar la mecánica de la verosimilitud objetivo, excepto para señalar lo obvio: la verosimilitud es sólo eso, una verosimilitud, no una certeza. Derivar un modelo exacto requiere la eliminación completa de la incertidumbre, lo que la lógica probabilística rara vez puede hacer, si es que lo hace.

3) Por supuesto que no. Dado que todos los modelos conservan cierta incertidumbre y, por tanto, son inexactos (excepto en los casos de matemáticas puras, divorciadas de las mediciones físicas del mundo real), la raza humana no habría podido realizar ningún progreso tecnológico hasta la fecha, ni tampoco ningún otro progreso. Si los modelos inexactos fueran siempre inútiles, estaríamos teniendo esta conversación en una cueva, en lugar de en esta increíble hazaña tecnológica llamada Internet, todo lo cual fue posible gracias a la modelización inexacta.

Irónicamente, el propio modelo de van der Laan es un ejemplo primordial de inexactitud. Su propio artículo esboza una especie de modelo de cómo debería gestionarse el campo de la estadística, con el objetivo de conseguir modelos exactos; todavía no hay números asociados a este "modelo", no se mide lo inexactos o inútiles que son ahora la mayoría de los modelos en su opinión, no se cuantifica lo lejos que estamos de su visión, pero supongo que se podrían idear pruebas para esas cosas. Sin embargo, tal y como están las cosas, su modelo es inexacto. Si no es útil, significa que su punto de vista es erróneo; si es útil, derrota su punto principal de que los modelos inexactos no son útiles. En cualquier caso, refuta su propio argumento.

4) Probablemente no, porque no podemos tener información completa con la que probar nuestro modelo, por las mismas razones por las que no podemos derivar un modelo exacto en primer lugar. Un modelo exacto requeriría, por definición, una predictibilidad perfecta, pero incluso si las primeras 100 pruebas resultan 100% precisas, la 101ª podría no serlo. Luego está todo el tema de las escalas de medición infinitesimales. Después de eso, entramos en todas las demás fuentes de incertidumbre, que contaminarán cualquier evaluación de la Torre de Marfil de nuestro modelo de la Torre de Marfil.

5) Para abordar el tema, he tenido que situarlo en el contexto más amplio de cuestiones filosóficas mucho más amplias que suelen ser controvertidas, por lo que no creo que sea posible discutirlo sin entrar en opiniones (fíjate que eso en sí mismo es otra fuente de incertidumbre) pero tienes razón, este artículo merece una respuesta. Mucho de lo que dice en otros temas va por buen camino, como la necesidad de hacer estadísticas relevantes para el Big Data, pero hay algún extremismo poco práctico mezclado que debería corregirse.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X