Problema qué es detrás de la puerta"cuando no se abre la puerta de oportunidad

Question

EDIT: En respuesta a la sugerencia, voy a incluir más contexto del mundo real.

Estoy tratando de predecir la presencia de las tuberías de plomo en las casas más antiguas, con el propósito de renovaciones. Tengo N heterogéneo casas. He construido un modelo para predecir si la casa tiene tuberías de plomo basado en los factores obvios como la edad, el tipo de ingresos de barrio, etc. Ahora necesito para evaluar la exactitud del modelo.

Tengo una base de datos de conjunto de registros históricos que fundamentalmente se basa en una persona inspecciones de donde es a menudo el caso de que la inspección de personas que no pueden entrar en la casa para ver si hay plomo o no (la gente no se fía, no hay nadie en casa, etc). Así, los resultados posibles son:

[no one opens door / refuse to open,  door opens: no lead, door opens: lead present]

No podemos saber lo que hay detrás de el sin abrir las puertas.

Segundo arruga; yo uso mi modelo de clasificación para enviar a un grupo diferente de personas a la oferta de renovación de servicios en la alta probabilidad de plomo casas. Estas personas comprobable tienen un tiempo más fácil de entrar en la casa para hacer una determinación (la gente parece que les gusta más).

Por tanto, y dado que la aplicación del modelo de clasificación de tratamiento hace que sea más probable que el de recibir una información más completa sobre casa de plomo de estado, ¿cómo puedo decirle lo bueno que mi modelo es frente a la no-modelo de caso? ¿Cómo puedo separar las contribuciones de la modelo frente a sólo el envío de diferentes personas al evaluar el éxito: encontrar plomo en las casas"?

Answer 1

Suena como que usted desea comprobar si las casas que he estado enviando vendedores de hecho son particularmente propensos a tener plomo. Suponiendo que las casas en los registros históricos no estaban recogidos de acuerdo con una predicción como este, y lo que es más representativa de todos los hogares en la población, son una buena fuente de una tarifa base para comparar sus decisiones. Ignorando los registros para que un inspector no estaba permitido en el interior (que no parecen ser de carácter informativo para nuestros propósitos), cuenta la proporción de viviendas en los registros históricos que resultó tener plomo. A continuación, basta con comparar la proporción de Una a la proporción B de las casas que he enviado a los vendedores a que había lugar. Más que B es mayor que A, el mejor que está haciendo a la hora de elegir dónde enviar el vendedor.