Método de control sintético Diferencia entre MSPE y RMSPE

Question

Estoy utilizando el Método de Control Sintético para estimar el efecto que tuvo alguna política. Tengo los resultados y todo, pero cuando empecé a discutir el método de inferencia y las pruebas con placebo me di contra la pared. Tengo el $\frac{\mathrm{Post \; MSPE}}{\mathrm{Pre \; MSPE}}$ relación de Synth() que yo creía que era igual al valor p (al menos eso es lo que informaba R). Sin embargo, en numerosas páginas de Internet he encontrado la información de que el valor p es en realidad igual a $\frac{\mathrm{Post \; RMSPE}}{\mathrm{Pre \; RMSPE}}$ . Bastante seguro, Synth() no produce la proporción mencionada, pero entonces, ¿cuál debo utilizar?

Abadie et al. (2010) habla de MSPE - luego 5 años más tarde, Abadie et al. (2015) comienza a utilizar RMSPE. Me resulta un poco confuso y agradecería que alguien me lo explicara.

Answer 1

El valor p se obtiene comparando lo inusual que es el efecto observado en relación con los falsos efectos placebo (aquellos en los que se ejecuta synth en unidades no tratadas). Si es inusual, puede rechazar el nulo de ningún efecto.

Se puede utilizar cualquier medida del tamaño del efecto que sea comparable entre unidades, pero Abadie et al. (2010) sugieren utilizar el RMSPE (error cuadrático medio de predicción) posterior al tratamiento. Ese es el numerador de la proporción. La idea es que si hay un efecto, el RMSPE será grande. También lo será el MSPE. Así, si el MSPE es 100, el RMSPE es 10. Si el MSPE es 25, el RSMPE es 5. En realidad, no importa cuál se utilice.

Entonces, ¿de dónde sale el denominador? La razón de la normalización por el pre RMSPE es que los efectos placebo pueden ser bastante grandes si esas unidades no estaban bien emparejadas en el periodo anterior al tratamiento. Esto haría que los valores p fueran demasiado conservadores (es decir, no se rechazarían con suficiente frecuencia). El ajuste por la calidad de los emparejamientos previos al tratamiento puede hacerse de dos maneras:

1. Restringir el conjunto de comparación de placebos para incluir sólo los que coinciden bien, desechando los PF con pre RMSPE X veces mayor que el tratado. Abadie et al. utilizan X=5 en el ejemplo del terrorismo vasco.
2. Dividiendo todos los RMSPE post por la calidad de coincidencia pretratamiento correspondiente (RSMPE) para normalizarlos.

La segunda es más sencilla, ya que no implica elegir X de manera ad hoc.

Al final, el valor p de dos caras es la proporción de proporciones falsas de placebo que son mayores o iguales que la proporción tratada. Algunas personas harán ese cálculo con los placebos de alta RMSPE pre también descartados. Puede convencerse de ello ejecutando un bucle FP y almacenando las proporciones a lo largo del camino y haciendo el cálculo de la proporción al final.