Explique en términos sencillos por qué los modelos predictivos no son interpretables causalmente.

Question

Imagina que te piden que infieras un efecto causal, un cambio en un resultado $y$ en respuesta a alguna variable $x$ . Pero, la persona que te lo pide te indica que utilices un modelo predictivo para hacerlo. Esta es la configuración:

• $x$ se confunde en la medida en que hay algo no observado $u$ que está causalmente vinculada tanto a $y$ y $x$ . Tenemos un sesgo clásico de variables omitidas.
• Tenemos covariables de alta dimensión $\mathbf{Z}$ que no son independientes de $y$ o $x$ y/o $u$
• Se le pide que entrene un conjunto de modelos predictivos (redes neuronales, árboles potenciados, etc.) denominados $g_i([x, \mathbf{Z}]) + \epsilon$ donde $i$ indexa diferentes modelos y, a continuación, selecciona entre ellos el modelo $i$ que minimice alguna métrica de habilidad predictiva. RMSE, por ejemplo.
• Basándose en el modelo elegido, se le pide que informe sobre $$ \frac{\partial \hat{y}}{\partial x} = \frac{\partial \hat{g}_i([x, \mathbf{Z}])}{\partial x} $$
• Sabes que $$ E\left[\frac{\partial \hat{y}}{\partial x}\right] \neq \frac{\partial y}{\partial x} $$ en la población, ya que el término de error incluye la variable omitida, por lo que $$ \frac{\partial \epsilon}{\partial x} \neq 0 \text{ in the population, despite the fact that } \frac{\partial \hat\epsilon}{\partial x} = 0 $$ en cualquier modelo razonable $g$ .

Además del sesgo por variables omitidas, también puede haber sesgo por regularización.

• Supongamos además que se dispone de un modelo causal, por ejemplo una regresión de variables instrumentales, que utiliza un instrumento adecuado. $w$ para $x$ . Es uno de los modelos de su conjunto de modelos, pero su capacidad predictiva en términos de RMSE validado cruzado es peor que la de los demás.

El mejor modelo es el que produce la estimación causal consistente, ¿verdad? Pero..:

¿Cómo se lo explicaría a alguien en términos sencillos?

La persona que pide el análisis no entiende la inferencia causal y necesita que la eduquen. Sin embargo, no entienden de matemáticas y tienen poca capacidad de atención. ¿Cómo se puede transmitir eficazmente la idea básica de que los métodos causales son necesarios y los métodos predictivos son inadecuados? Nada de matemáticas, muchas historias, frases concisas.

Answer 1

El problema básico es que un modelo predictivo no causal puede fallar si se utiliza para intervenciones. Empecemos con un ejemplo muy sencillo en el que una parte importante del mundo real ha:

$$ Cause \rightarrow \mathit{Effect} \rightarrow Measurement $$

Porque imaginamos Medición es casi perfecto, el mejor modelo de predicción lo preferirá a uno más ruidoso Causa pero Medición sólo puede conocerse después de Efecto por lo que no puede servir de base para políticas o intervenciones. Cambiar Medición por otros medios no cambiará Efecto en absoluto.

 ~ * ~ Possibly that's sufficient, but more detail below. ~ * ~

Si Medición es algo como los ingresos o la salud o la calidad, por supuesto que se puede medir antes de tiempo, pero entonces no es realmente la derecha medición, porque no ha tomado Efecto en cuenta todavía. Las predicciones no serán tan buenas. Aquí habría sido mejor utilizar Causa si se conoce.

A menudo Causa no se conoce, y Medición puede ser tan buen predictor como quieras. En el último ejemplo, tenemos partículas entrelazadas:

$$ \mathit{Spin\ 1} \leftarrow \mathit{Hidden\ Cause} \rightarrow \mathit{Spin\ 2} $$

En este caso, Giro 2 es un perfecto predictor de Giro 1 pero nunca se puede utilizar para cambiar Giro 1 : ambos reflejan simplemente una causa común oculta. En un ejemplo menos extremo, tanto la venta de helados como los ahogamientos están causados por el calor, pero también por otras cosas:

$$Other1 \rightarrow Sales \leftarrow \mathbf{Heat} \rightarrow Drownings \leftarrow Other2$$

No podemos reducir los ahogamientos prohibiendo los helados, y no podemos hacer gran cosa para evitarlos. Calor aunque sea predictivo, pero puede elaborar políticas sobre Otros2 . (Y la venta de helados podría ser un alerta rápida permitiéndonos actuar).

Normalmente no hay nadie perfecto Medición así que fabricamos uno: nuestro modelo predictivo combina inteligentemente Muchas cosas . Pero aunque tenga en cuenta correctamente las dependencias entre Muchas cosas no ayuda a la política ni a las intervenciones si Muchas cosas están aguas abajo de Efecto .

Si Medición está aguas abajo de Causa y Efecto entonces el modelo puede fallar de formas más extrañas, sobre todo si intentaba controlar las cosas estadísticamente de forma inteligente.

Answer 2

Si se trata de una persona que realmente no sabe apenas nada de estadística y causalidad le pondría algunos ejemplos que son sencillos.

Si se tienen datos sobre el número de cuartos de baño de la casa más grande de alguien, se puede clasificar a la persona como multimillonaria o no, en el sentido de que las mansiones de los multimillonarios tienen numerosos cuartos de baño. Yo supondría que en este problema podrías lograr estimaciones precisas. Sin embargo, aumentar el número de baños en la casa de alguien no le convertirá en multimillonario. Así que se podría utilizar un modelo de este tipo para identificar a los multimillonarios, pero no para convertir a alguien en multimillonario. Correlación, pero no causalidad.

Otro ejemplo común es la relación del consumo de helados con los ataques de tiburones (al estar confundido por la temperatura). En algunos lugares, se podría obtener una predicción razonable de los ataques de tiburones basándose en el consumo de helado. Pero poner más tiburones en las playas no haría que la gente comiera más helado (al menos no en la misma medida que se mide con la estimación confundida).

Estoy de acuerdo con Graham Wright en que esto no debería ser una dicotomía. Se pueden hacer predicciones basadas en modelos causales, por ejemplo. Si la persona sabe algo de estadística, yo optaría por un enfoque diferente, como las otras respuestas, pero si se trata de mi abuela, que no tiene ni siquiera el bachillerato, optaría por los ejemplos intuitivos que he dado antes.