Creación de valores difusos para datos binarios

Question

Estoy haciendo una regresión logística en la que mi variable dependiente es si una persona posee o no un determinado producto.

Entre las variables del modelo figura un indicador del estado civil, 1 para casado, 0 para no casado. Se trata de datos fiables extraídos directamente de una solicitud rellenada por el cliente, por ejemplo. En muchos casos, los datos faltan (quizá la persona nunca rellenó una solicitud), pero hay una segunda fuente de datos que es algo exacta, pero no del todo. ¿Tendría sentido completar los valores que faltan, no con 0 o 1, sino con algo intermedio? Por ejemplo, si es probable que estén casados, basándome en la segunda fuente de datos, les doy 0,8 o 0,2 si es probable que no estén casados.

Answer 1

Nunca he visto hacer esto, y dudo que otras personas tampoco. Por lo general, en este sitio se obtienen respuestas informadas en un par de horas después de publicar algo. Ha pasado un día, y nada.

Mi idea es la siguiente: si quieres decirle al modelo que algunos valores son más fiables que otros, utiliza ponderaciones. Si rebajas la ponderación de los valores en los que dudas de la exactitud de los datos, el modelo aceptará básicamente un ajuste peor en ese punto, que es lo que quieres.

Ejemplo: suponga que tiene un conjunto de covariables muy "casado" para alguien codificado como "soltero" en el conjunto de datos dudosos. Sin ponderaciones, el algoritmo de ajuste podría distorsionar las estimaciones de los parámetros para obtener algún tipo de ajuste. Con ponderaciones, el algoritmo no tiene que esforzarse tanto. En efecto, le permite tener residuos más grandes cuando no confía en los datos.

Si quieres seguir con tu primera idea de sustituir los datos por probabilidades, yo repetiría: estimaría las probabilidades de que alguien esté casado o no, luego ajustaría el modelo con mis mejores conjeturas, luego volvería atrás y ajustaría las estimaciones. Se trata de un enfoque EM. Por tanto, no sustituiría 0 y 1 por 0,8 y 0,2 en el ajuste. Utilizaría 1 y 0 según las probabilidades fueran menores o mayores que 0,5, pero luego volvería atrás y ajustaría las probabilidades en función de la falta de ajuste en esos puntos.

Si nos fijamos en lo que ocurre en un modelo de regresión logística, las matemáticas implicadas realmente esperan que los datos vayan a ser 0 ó 1. Creo que deberías ceñirte a eso. Mi consejo se reduce a utilizar ponderaciones o estimar el estado civil a partir del resto de los datos.