Sobre George Box, Galit Shmueli y el método científico?

Question

(Esta pregunta podría parecer más adecuada para el SE de Filosofía. Espero que los estadísticos puedan aclarar mis ideas erróneas sobre las afirmaciones de Box y Shmueli, de ahí que la publique aquí).

George Box (de la fama de ARIMA) dijo:

"Todos los modelos son erróneos, pero algunos son útiles".

Galit Shmueli en su famoso artículo "Explicar o predecir" sostiene (y cita a otros que están de acuerdo con ella) que:

Explicar y predecir no es lo mismo, y algunos modelos explican bien, pero predicen mal.

Creo que estos dos principios son en cierto modo contradictorios.

Si un modelo no predice bien, ¿es útil?

Y lo que es más importante, si un modelo explica bien (pero no necesariamente predice bien), entonces tiene que ser cierto (es decir, no erróneo) de un modo u otro. Entonces, ¿cómo encaja eso con el "todos los modelos son erróneos" de Box?

Por último, si un modelo explica bien, pero no predice bien, ¿cómo puede ser siquiera científico? La mayoría de los criterios de demarcación científica (verificacionismo, falsificacionismo, etc...) implican que un enunciado científico tiene que tener poder predictivo, o coloquialmente: Una teoría o un modelo es correcto sólo si puede probarse empíricamente (o falsarse), lo que significa que tiene que predecir resultados futuros.

Mis preguntas:

• ¿Son realmente contradictorias la afirmación de Box y las ideas de Shmueli, o me estoy perdiendo algo, por ejemplo, puede un modelo no tener poder predictivo y aun así ser útil?
• Si las afirmaciones de Box y Shmueli son no contradictorio, entonces ¿qué significa que un modelo sea erróneo y no prediga bien, y aun así tenga poder explicativo? Dicho de otro modo: Si se elimina tanto la corrección como la capacidad de predicción, ¿qué queda de un modelo?

¿Qué validaciones empíricas son posibles cuando un modelo tiene poder explicativo, pero no predictivo? Shmueli menciona cosas como: utilizar el AIC para la explicación y el BIC para la predicción, etc,... pero no veo cómo eso resuelve el problema. Con los modelos predictivos, se puede utilizar el AIC, o el BIC, o el $R^2$ o $L1$ regularización, etc... pero, en última instancia, lo que determina la calidad del modelo son las pruebas fuera de muestra y el rendimiento en producción. Pero para los modelos que explican bien, no veo cómo ninguna función de pérdida puede evaluar realmente un modelo. En filosofía de la ciencia, existe el concepto de infradeterminación que parece pertinente en este caso: Para cualquier conjunto de datos dado, siempre se puede elegir juiciosamente alguna distribución (o mezcla de distribuciones) y función de pérdida $L$ de tal forma que se ajusten a los datos (y, por tanto, se pueda afirmar que los explican). Además, el umbral que $L$ debe estar bajo para que alguien pueda afirmar que el modelo explica adecuadamente los datos es arbitraria (algo así como los p-valores, ¿por qué es $p < 0.05$ y no $p < 0.1$ o $p < 0.01$ ?).

• Basándonos en lo anterior, ¿cómo se puede validar objetivamente un modelo que explica bien, pero no predice bien, ya que no es posible realizar pruebas fuera de muestra?

Answer 1

Permítanme empezar con la enjundiosa cita de George Box, según la cual "todos los modelos son erróneos, pero algunos son útiles". Esta afirmación resume el enfoque metodológico del "positivismo", un planteamiento filosófico muy influyente en las ciencias. Este enfoque se describe detalladamente (en el contexto de la teoría económica) en el clásico ensayo metodológico de Friedman (1966) . En ese ensayo, Friedman sostiene que cualquier teoría científica útil constituye necesariamente una simplificación de la realidad y, por tanto, sus supuestos siempre deben apartarse de la realidad en algún grado, e incluso pueden apartarse sustancialmente de la realidad. Sostiene que el valor de una teoría científica no debe juzgarse en función de la cercanía de sus supuestos a la realidad, sino por su sencillez en reducir la complejidad del mundo a un conjunto manejable de principios, y su precisión en hacer predicciones sobre la realidad y generar nuevas hipótesis comprobables sobre la realidad. Así, Friedman sostiene que "todos los modelos son erróneos" en la medida en que todos contienen supuestos que simplifican (y por tanto se alejan de) la realidad, pero que "algunos son útiles" en la medida en que ofrecen un marco sencillo para hacer predicciones útiles sobre la realidad.

Ahora, si lees Caja (1976) (el artículo en el que afirma por primera vez que "todos los modelos son erróneos"), verá que no cita a Friedman, ni menciona el positivismo metodológico. Sin embargo, su explicación del método científico y de sus características es extremadamente cercana a la desarrollada por Friedman. En concreto, ambos autores subrayan que una teoría científica hará predicciones sobre la realidad que pueden contrastarse con los hechos observados, y el error en la predicción puede servir entonces de base para revisar la teoría.

Pasemos ahora a la dicotomía analizada por Galit Shmueli en Shmueli (2001) . En este artículo, Shmueli compara la explicación causal y la predicción de los resultados observados y sostiene que se trata de actividades distintas. En concreto, sostiene que las relaciones causales se basan en constructos subyacentes que no se manifiestan directamente en resultados medibles, por lo que "los datos medibles no son representaciones exactas de sus constructos subyacentes" (p. 293). Por lo tanto, sostiene que hay un aspecto del análisis estadístico que implica hacer inferencias sobre relaciones causales subyacentes inobservables que no se manifiestan en diferencias contrafácticas medibles en los resultados.

A menos que esté malinterpretando algo, creo que es justo decir que esta idea está en tensión con los puntos de vista positivistas de Box y Friedman, representados en la cita de Box. El punto de vista positivista dice esencialmente que no hay "construcciones" metafísicas admisibles más allá de las que se manifiestan en resultados medibles. El positivismo se limita a considerar los datos observables y los conceptos construidos a partir de ellos; excluye la consideración de a priori conceptos metafísicos. Así, un positivista sostendría que el concepto de causalidad sólo puede ser válido en la medida en que se defina en términos de resultados medibles en la realidad --- en la medida en que se defina como algo distinto de esto (como lo trata Shmueli), esto se consideraría especulación metafísica, y se trataría como inadmisible en el discurso científico.

Así que creo que tienes razón: estos dos enfoques están esencialmente en conflicto. El enfoque positivista utilizado por Box insiste en que los conceptos científicos válidos se basen enteramente en sus manifestaciones en la realidad, mientras que el enfoque alternativo utilizado por Shmueli dice que hay algunos "constructos" que son conceptos científicos importantes (que queremos explicar) pero que no pueden representarse perfectamente cuando se "operacionalizan" relacionándolos con resultados medibles en la realidad.

Answer 2

Un modelo, cuando se utiliza para explicar cosas, es una simplificación de la realidad. Simplificación no es más que otra palabra para decir "incorrecto de alguna manera útil". Por ejemplo, si redondeamos el número 3,1415926535898 a 3,14 estamos cometiendo un error, pero este error nos permite a los humanos centrarnos en la parte más importante de ese número. Así es como se utilizan los modelos en la explicación: proporcionan información sobre algún problema, pero por necesidad tienen que hacer abstracción de muchas otras cosas: Los humanos no somos muy buenos viendo miles de cosas a la vez. Si nos preocupamos principalmente por predecir, queremos incluir esos miles de cosas siempre que sea posible, pero en el caso de la explicación, la compensación es diferente.

Answer 3

Un ejemplo de un modelo que es excelente en la predicción pero no explica nada se da en el artículo de Wikipedia " Todos los modelos son erróneos ". El ejemplo es el modelo de gravitación de Newton. El modelo de Newton casi siempre da predicciones que no se distinguen de las observaciones empíricas. Sin embargo, el modelo es extremadamente inverosímil: porque postula una fuerza que puede actuar instantáneamente a distancias arbitrariamente grandes.

El modelo de Newton ha sido sustituido por el de la teoría general de la relatividad de Einstein. Con la relatividad general, las fuerzas gravitatorias viajan por el espacio a una velocidad finita (la velocidad de la luz).

El modelo de Newton no es una simplificación del modelo relativista general. Para ilustrarlo, consideremos una manzana que cae de un árbol. Según la relatividad general, la manzana cae sin que la Tierra ejerza ninguna fuerza sobre ella. (La razón principal por la que la manzana cae es que la Tierra deforma el tiempo, de modo que los relojes cerca de la base del árbol funcionan más despacio que los relojes en lo alto del árbol). Así pues, como señala el artículo de Wikipedia, el modelo de Newton es completamente erróneo desde una perspectiva explicativa.

El artículo de Shmueli [2010] presupone que un modelo tiene dos finalidades: la predicción y la explicación. De hecho, varios autores han afirmado que existen tres propósitos (véase, por ejemplo, Konishi & Kitagawa [ Criterios de información y modelización estadística , 2008: §1.1] y Friendly & Meyer [ Análisis de datos discretos , 2016: §11.6]). Los tres propósitos corresponden a los tres tipos de razonamiento lógico:

• predicción (correspondiente a la deducción);
• estimación de parámetros (correspondiente a la inducción);
• descripción de la estructura (correspondiente a la abducción).

Answer 4

Soy licenciado en Estadística, así que no me consideraré un experto, pero aquí están mis dos centavos.

Los modelos no se explican por sí mismos; los humanos los interpretan. Los modelos lineales son más fáciles de entender que las redes neuronales y los bosques aleatorios porque se acercan más a cómo tomamos las decisiones. De hecho, las RNA imitan al cerebro humano, pero no decides a qué restaurante ir mañana haciendo una serie de multiplicaciones matriciales. En lugar de eso, ponderas algunos factores en tu mente por su importancia, lo que es esencialmente una combinación lineal.

El "poder explicativo" mide lo bien que se lleva un modelo con la intuición humana, mientras que el "poder predictivo" mide lo bien que se alinea con el mecanismo subyacente del proceso en cuestión. La contradicción entre ambos es esencialmente la brecha entre lo que es el mundo y cómo podemos percibirlo/entenderlo. Espero que esto explique por qué "algunos modelos explican bien, pero predicen mal".

Ian Stewart dijo una vez: "Si nuestros cerebros fueran tan simples que pudiéramos entenderlos, seríamos tan simples que no podríamos". Por desgracia, nuestros pequeños cerebros humanos son en realidad muy simples comparados con el universo, o incluso con un mercado de valores (que implica muchos cerebros :). Hasta ahora, todos los modelos son producto de cerebros humanos, por lo que deben ser más o menos inexactos, lo que lleva al "Todos los modelos son erróneos" de Box. Por otra parte, un modelo no tiene por qué ser técnicamente correcto para ser útil. Por ejemplo, las leyes del movimiento de Newton han sido refutadas por Einstein, pero siguen siendo útiles cuando un objeto no es ridículamente grande o rápido.

Para responder a tu pregunta, sinceramente no veo la incompatibilidad entre los puntos de Box y Shmueli. Parece que usted considera que el "poder explicativo" y el "poder predictivo" son propiedades binomiales, pero yo creo que se sitúan en los dos extremos de un espectro.