¿Puede utilizar validación cruzada para la inferencia causal?

Question

En todos los contextos estoy familiarizado con la validación cruzada se utiliza únicamente con el objetivo de aumentar la precisión predictiva. Puede la lógica de la validación cruzada se extendió en la estimación de la imparcial relaciones entre las variables?

Mientras que este papel por Richard Berk muestra el uso de una suspensión fuera de la muestra para la selección de parámetros en el "final" del modelo de regresión (y demuestra por qué paso a paso de la selección de parámetros no es una buena idea), todavía no veo cómo eso exactamente asegura imparcial de las estimaciones del efecto que tiene X en Y alguna más que la elección de un modelo basado en la lógica y el conocimiento previo del sujeto.

Yo pido que la gente citar ejemplos en los que uno utiliza un ejemplo para ayudar en la inferencia causal, o en general de ensayos que pueden ayudar a que mi comprensión. Yo también no dudes de mi concepción de la validación cruzada es ingenuo, y si se lo dices. Parece que de improviso el uso de una suspensión fuera de la muestra sería susceptible de inferencia causal, pero no sé de que cualquier trabajo que hace esto o cómo se haría esto.

Citación para la Berk Papel:

La Inferencia Estadística, Después De La Selección Del Modelo por: Richard Berk, Lawrence Brown, Linda Zhao Diario de Cuantitativa de la Criminología, Vol. 26, Nº 2. (1 de junio de 2010), pp 217-236.

Versión en PDF aquí

Esta cuestión en análisis exploratorio de datos en estudios de muestras pequeñas por chl le pide a esta pregunta.

Answer 1

Creo que es útil para revisar lo que sabemos acerca de la validación cruzada. Resultados estadísticos alrededor de CV se dividen en dos clases: la eficacia y la coherencia.

La eficiencia es lo que generalmente se ocupan cuando la construcción de modelos predictivos. La idea es que el uso de la CV para determinar un modelo con asymtptotic garantías relativas a la función de pérdida. El más famoso resultado aquí es debido a Piedra de 1977 y muestra que LOO CV es asintóticamente equivalente a la AIC. Pero, Brett es un buen ejemplo donde se puede encontrar un modelo predictivo que no informarle sobre el mecanismo causal.

La consistencia es lo que nos interesa si nuestro objetivo es encontrar la "verdadera" del modelo. La idea es que el uso de la CV para determinar un modelo asintótico de las garantías que, dado que nuestro modelo de espacio incluye el modelo verdadero, nos va a descubrir con una muestra bastante grande. El más famoso resultado aquí es debido a Shao de 1993, relativa a los modelos lineales, pero como él dice en su resumen, su "impactante descubrimiento" es opuesto al resultado por LOO. Para modelos lineales, se puede lograr la coherencia con LKO CV como mucho $k/n \rightarrow 1$ como $n \rightarrow \infty$. Más allá lineal mdoels, es más difícil para derivar los resultados estadísticos.

Pero supongamos que usted puede cumplir con los criterios de consistencia y su CV procedimiento conduce a la verdadera modelo: $Y = \beta X + e$. ¿Qué hemos aprendido sobre el mecanismo causal? Simplemente sabemos que hay una correlación entre $Y$ y $X$, lo cual no dice mucho acerca de la causal de reclamaciones. Desde una perspectiva tradicional, usted necesita para llevar en el diseño experimental con el mecanismo de control/manipulación para realizar causal de reclamaciones. Desde la perspectiva de Judea Pearl marco, se puede hornear causal hipótesis en un modelo estructural y el uso de la probabilidad basada en el cálculo de hipótesis para derivar algunos reclamos, pero tendrá que satisfacer ciertas propiedades.

Tal vez se podría decir que la CV puede ayudar con la inferencia causal por la identificación del verdadero modelo (siempre que se pueda satisfacer la coherencia de criterios!). Pero sólo se pone tan lejos; CV por sí mismo no está haciendo ninguna de las actividades en el marco de la inferencia causal.

Si usted está interesado más en lo que podemos decir con validación cruzada, yo recomendaría Shao 1997 sobre el ampliamente citado documento de 1993:

• Una Teoría Asintótica para el Modelo Lineal de Selección (Shao, 1997)

Usted puede pasar a través de los principales resultados, pero es interesante leer la discusión que sigue. Pensé que los comentarios por Rao & Tibshirani, y de la Piedra, fueron perspicaces. Pero tenga en cuenta que mientras se discute la consistencia, no afirma que jamás se ha hecho con respecto a la causalidad.

Answer 2

Esta es una pregunta muy interesante y yo no ofrecen ningún tipo específico de citas. Sin embargo, en general, yo diría, NO, en y de sí mismo, la validación cruzada no ofrece ninguna pista sobre la causalidad. En ausencia de un experimento diseñado, el problema de la causalidad es siempre incierto. Como usted sugiere, la validación cruzada puede y va a mejorar la precisión predictiva. Esto, por sí solo, no dice nada acerca de la causalidad.

En ausencia de un experimento diseñado, la inferencia causal requeriría un modelo que incluye todas las predictores--algo que rara vez se puede garantizar en un estudio observacional. Por otra parte, una simple retardo variable, por ejemplo (o cualquier cosa altamente correlacionado con cualquier resultado que estábamos tratando de predecir), se produciría un buen modelo y que pueda ser validado en muestras múltiples. Eso no significa, sin embargo, que podemos inferir causalidad. La validación cruzada asegura la repetibilidad en las predicciones y nada más. La causalidad es una cuestión de diseño y de la lógica.

EDITAR: He aquí un ejemplo para ilustrar. Yo podría construir un modelo con buena precisión predictiva que predice la población de una ciudad basada en la cantidad de dinero que la ciudad gasta en el retiro de basura. Yo podría usar la validación cruzada para probar la exactitud de ese modelo, así como a otros métodos para mejorar la precisión de la predicción y obtener más estable de los parámetros. Ahora, si bien este modelo funciona muy bien para la predicción, la causal lógica está mal--la causal se invierte la dirección. No importa lo que la gente en el Departamento de Obras Públicas podría argumentar, el aumento de su presupuesto para el retiro de la basura no sería una buena estrategia para aumentar la población de la ciudad (la interpretación causal).

Los problemas de la precisión y la repetibilidad de un modelo son independientes de nuestra capacidad para hacer inferencias causales sobre las relaciones que observamos. La validación cruzada, nos ayuda con la primera y no con el segundo. Ahora, SI estamos en la estimación de una "correcta" del modelo en términos de la especificación de una relación casual (por ejemplo, tratando de determinar lo que nuestro retiro de la basura presupuesto debe estar basado en nuestra previsto de la población el próximo año), la validación cruzada, nos puede ayudar a tener más confianza en nuestra estimación de que el efecto. Sin embargo, la validación cruzada no hace nada para ayudarnos a elegir la "correcta" del modelo con respecto a las relaciones causales. De nuevo, aquí tenemos que confiar en el diseño del estudio, nuestros expertos en la materia, la teoría y la lógica.

Answer 3

A mí me parece que su pregunta más general, las direcciones de diferente sabor de la validación de un modelo predictivo: validación Cruzada tiene más que ver con la validez interna, o al menos la inicial de la modelización de la etapa, mientras que el dibujo de los nexos causales en un ámbito más amplio de la población está más relacionado con la validez externa. Por que (y como una actualización seguir a @Brett agradable comentario), me refiero a que por lo general construir un modelo en una muestra de trabajo, asumiendo un hipotético modelo conceptual (es decir, hemos de especificar las relaciones entre los predictores y el resultado(s) de interés), y tratamos de obtener estimaciones fiables con una mínima tasa de error de clasificación o un mínimo error de predicción. Con suerte, mejor que el modelo funciona, mejor nos va a permitir predecir el resultado de la(s) invisible de datos; sin embargo, el CV no dice nada acerca de la "validez" o la adecuación de las hipótesis de relaciones causales. Ciertamente podríamos conseguir resultados decentes con un modelo en el que algunos de moderación y/o mediación efectos son descuidadas o simplemente no se conoce de antemano.

Mi punto es que cualquiera que sea el método que utilice para validar su modelo (y de exclusión del método es, sin duda no es el mejor, pero todavía es ampliamente utilizado en el estudio epidemiológico para aliviar los problemas derivados de paso a paso de la construcción de modelos), se trabaja con la misma muestra (que suponemos es representativa de una población más grande). Por el contrario, la generalización de los resultados y los vínculos causales inferirse de esta manera a las nuevas muestras o posiblemente relacionadas con la población se realiza generalmente mediante la replicación de los estudios. Esto asegura que con seguridad se puede probar la capacidad predictiva de este modelo, en un "superpopulation", que cuenta con una mayor gama de variaciones individuales y pueden presentar otros factores potenciales de interés.

Su modelo puede proporcionar predicciones válidas para su muestra de trabajo, e incluye todos los posibles factores de confusión que pueden tener de pensar; sin embargo, es posible que no funcione tan bien con los nuevos datos, sólo porque otros factores aparecen en la intervención de la causal de ruta de acceso que no fueron identificados cuando la construcción del modelo inicial. Esto puede suceder si algunos de los predictores y los vínculos causales inferirse de ello depende el juicio en particular centro donde los pacientes fueron reclutados, por ejemplo.

En epidemiología genética, muchos de los estudios de asociación de genoma no replicar sólo porque estamos tratando de modelo de enfermedades complejas con una simplificación de vista sobre las relaciones causales entre los marcadores de ADN y el fenotipo observado, si bien es muy probable que la gen-gen (epistasis), el gen de enfermedades (pleiotropía), gen-ambiente, y la subestructura de la población entran en juego, pero véase, por ejemplo, la Validación, el aumento y la refinación de asociación de genoma de señales (ioannidis, académico e investigador et al., Nature Reviews Genetics, 2009 10). Por lo tanto, podemos construir un eficiente modelo para dar cuenta de lo observado de la cruz-las variaciones de entre un conjunto de marcadores genéticos (con muy baja y el escaso tamaño del efecto) y multivariante, patrón de los fenotipos observados (por ejemplo, el volumen de la blanco/gris de la materia o localizada actividades en el cerebro como se observa a través de resonancia magnética funcional, las respuestas a la evaluación neuropsicológica o inventario de personalidad), todavía no funcionar como se espera en una muestra independiente.

Como para una referencia general sobre este tema, se puede recomendar el capítulo 17 y la Parte III de los Modelos de Predicción Clínica, de EW Steyerberg (Springer, 2009). También me gusta el siguiente artículo de ioannidis, académico e investigador:

Ioannidis, académico e investigador, JPA, ¿por Qué la Mayoría de las publicaciones Los Hallazgos De La Investigación Son Falsas?PLoS Med. 2005 2(8): e124

Answer 4

Esta es una buena pregunta, pero la respuesta es definitivamente no: validación cruzada no va a mejorar la inferencia causal. Si usted tiene una correlación entre los síntomas y las enfermedades, la validación cruzada ayudará a asegurar que su modelo coincide con su distribución conjunta mejor que si simplemente se ajuste a su modelo a toda la raw conjunto de datos, pero no puede decir nada acerca de la direccionalidad de la relación de causalidad.

La validación cruzada es muy importante y digno de estudio, pero no hace nada más que impedir el sobreajuste al ruido en el conjunto de datos. Si quieres entender más, yo sugeriría que el Capítulo 7 de ESL: http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

Answer 5

Agradezco a todos por sus respuestas, pero la pregunta que ha crecido algo que yo no pretendía que, siendo principalmente un ensayo sobre la noción general de la inferencia causal con ninguna respuesta correcta.

Yo al principio la intención de la pregunta a la sonda de la audiencia de ejemplos del uso de la validación cruzada para la inferencia causal. Yo había asumido tales métodos existido, como la idea de utilizar una muestra de la prueba y de la muestra para evaluar la repetibilidad de las estimaciones del efecto me parecía lógico. Como Juan, lo que yo estaba sugiriendo no es diferente de la de arranque, y yo diría que se asemeja a otros métodos que utilizamos para validar los resultados, tales como subconjunto de la especificidad de las pruebas o no equivalente variables dependientes (bootstrapping relaja paramétrico de los supuestos de los modelos, y el subconjunto de las pruebas en una forma más general se utilizan como una forma de comprobar que los resultados son lógicos en diversas situaciones). Ninguno de estos métodos que cumple con cualquiera de las otras respuestas normas de la prueba para la inferencia causal, pero creo que todavía son útiles para la inferencia causal.

chl comentario es correcto en que mi afirmación para el uso de la validación cruzada es una comprobación de la validez interna de la ayuda en la inferencia causal. Pero yo le pido a la basura la distinción entre validez interna y externa, por ahora, como no hace nada para el debate. chl ejemplo del genoma de distintos estudios en epidemiología yo consideraría un primer ejemplo de mala validez interna, haciendo fuerte inferencias inherentemente inciertas. Creo que el genoma estudios de asociación son realmente un ejemplo de lo que pedí. ¿Crees que las inferencias entre los genes y las enfermedades se han mejorado a través del uso de la validación cruzada (como oppossed a tirar todos los marcadores en un solo modelo y el ajuste de los valores de p en consecuencia?)

A continuación he pegado una copia de una tabla en la Berk artículo que he citado en mi pregunta. Mientras estas tablas se muestra para demostrar la falsa lógica de uso de step-wise criterios de selección y la inferencia causal en el mismo modelo, permite pretender que no hay un modelo de criterios de selección fueron utilizados, y los parámetros de la capacitación y de la muestra se determinó a priori. Esto no me parecen realistas resultado. Aunque no podía decir que estiman que es correcto y lo que es falso, no es la inconsistencia en el Asalto de la Convicción y la Pistola de convicción de las estimaciones entre los dos modelos de fundición duda de que tiene un cierto efecto causal sobre la longitud de las oraciones? Es saber que la variación no es útil? Si no perdemos nada por tener una suspensión fuera de la muestra para probar nuestro modelo ¿por qué no podemos utilizar la validación cruzada para mejorar la inferencia causal (o me estoy perdiendo lo que estamos perdiendo por el uso de una suspensión fuera de la muestra?)