Comparar el efecto de un tratamiento que era opcional para sus receptores

Question

En 2012 recogimos datos en nuestra universidad sobre la retención de los estudiantes del primer semestre al segundo, junto con algunas otras variables. La variable de retención es binaria, "retenido" o "no retenido".

En 2013 introdujimos un nuevo sistema. Se asignaron asesores de éxito estudiantil y cualquier estudiante, cuando lo necesitaba, podía acudir a ellos. Recogimos algunas variables nuevas asociadas a la introducción de los asesores de éxito estudiantil junto con las recogidas en 2012. Ahora, acudir a estos asesores no era obligatorio. Los que sentían un problema podían acudir a ellos.

Sólo con los datos de 2013 parece que los asesores empeoran las cosas: los estudiantes que ven lo hacen peor y tienen más probabilidades de abandonar la universidad. Probablemente solo los estudiantes que tenían problemas acudieron a los asesores y los que iban bien probablemente no lo hicieron. Si 10 estudiantes acuden a los asesores con problemas y 8 se mantienen en el segundo semestre, eso es seguramente un éxito. Pero si 80 de cada 100 estudiantes que no tenían ningún problema y, por tanto, no acudieron al asesor, se mantuvieron en el segundo semestre, las probabilidades de éxito serán similares a las de los que acudieron a los asesores, lo que indica que acudir a los asesores no tuvo un efecto significativo.

Parte del motivo fue un importante cambio de política que afectó a la forma en que las universidades de nuestro país acogían a los estudiantes. Antes de 2013 existía un "tope", un límite sobre el número de estudiantes que una universidad podía acoger y para el que esperaba financiación del gobierno. En 2013 se eliminó. Así, las universidades exitosas y deseables empezaron a abrir sus puertas a más estudiantes, y más estudiantes pudieron, de repente, entrar en universidades deseables. Nuestra universidad no es tan deseable. Así que lo que probablemente ocurrió fue que nuestra universidad se vio obligada en 2013 a aceptar estudiantes significativamente "peores", lo que bien podría llevar a una mayor dificultad de retención.

Lo que mis jefes piensan es que tenemos que ponderar los datos de 2012 para que coincidan con los de 2013 en algunas de las variables que pueden haber sido sensibles a la eliminación del tope de entrada de estudiantes (o ponderar los datos de 2013 para que coincidan con los de 2012). Entonces podemos comparar dos cohortes diferentes como si fueran un grupo de control adecuado el uno para el otro. De hecho, esto es ilusorio. Algunos sugirieron usar SPSSINC RAKE, pero no tengo ninguna idea de por qué.

Lo que queremos averiguar (a grandes rasgos) es si la introducción de los asesores, etc., funcionó, y el grado en que lo hizo.

Answer 1

Coincidencia de puntuaciones de propensión: En primer lugar, se modelaría la probabilidad de que los estudiantes acudan a un asesor, basándose en los predictores disponibles -quizás las notas de los cursos, la situación financiera, las condiciones de vida, los historiales médicos, etc.-. Para cada estudiante, la probabilidad prevista de acudir a un asesor es la puntuación de propensión. A continuación, se emparejaría a cada estudiante que hizo acudir a un asesor con uno que no lo hizo pero tiene la misma puntuación de propensión, o la más cercana posible. Así que ahora se procedería a un análisis de la retención basado en pares emparejados de tratamiento y control.

Por supuesto, este enfoque no proporciona pruebas tan convincentes como un experimento en el que se asigna aleatoriamente a los estudiantes para que acudan a un asesor o no; habría que considerar si los predictores que no se han tenido en cuenta podrían estar contribuyendo significativamente al efecto.

Rosenbaum & Rubin (1983), "The Central Role of the Propensity Score in Observational Studies for Causal Effects", Biometrika , 70 , 1

Rosenbaum & Rubin (1985), "Constructing a Control Group Using Multivariate Matched Sampling Methods that Incorporate the Propensity Score", El Estadístico Americano , 39 , 1

Y el Matching para R puede ser útil.

Answer 2

Una pregunta sobre sus datos: ¿Los estudiantes visitan a los asesores más de una vez? Lo que quiero decir es que, en el caso de los estudiantes que deciden acudir a los asesores, ¿algunos visitan a su asesor una vez mientras que otros deciden visitarlo entre 15 y 20 veces? Si este es el caso, entonces le aconsejaría que no utilizara el método tradicional de puntuación de propensión tal y como lo exponen Rosenbaum y Rubin, y que en su lugar utilizara la puntuación de propensión generalizada, tal y como la analizan Hirano e Imbens (2004) "The Propensity Score with Continuous Treatments".

Además, siento la necesidad de insertar aquí una afirmación obligatoria de "correlación no es causalidad" por tu observación de que "Sólo con mirar los datos de 2013 parece que los asesores empeoran las cosas: los estudiantes que ven lo hacen peor, y tienen más probabilidades de abandonar la universidad." Algo que veo mucho en los datos de educación es que, siempre que los estudiantes son libres de autoseleccionarse en un tratamiento, los tipos de estudiantes que se seleccionan en ese tratamiento son muy diferentes de los que no lo hacen, y a menudo hay una gran variación incluso entre los estudiantes que sí se seleccionan para el tratamiento. Esto hace que sea muy difícil evaluar el impacto de un programa de tratamiento opcional.