Sin duda, dirigiría una árbol de decisiones aquí. Así que, dependiendo de lo que estés usando, puede que tengas que poner una variable continua. Sólo tienes que ir con un algoritmo básico como CART y / o C4.5.
Le da una visión de lo que puede estar pasando, y también le da ideas para los términos interactivos que luego puede añadir a su modelo, y volver a ejecutar para poner esta interacción "en términos" de su regresión - por ejemplo, mediante la comparación de las estimaciones de los parámetros.
EDIT: Añadiendo un par de enlaces, y algunos comentarios generales sobre los árboles de decisión.
Aquí es un árbol de decisión en R. R es lo suficientemente bueno si sólo estás tratando de entenderlo por ti mismo, pero nunca he sido capaz de obtener visualizaciones de árboles de decisión de calidad de R.
Así que aquí es otro programa llamado RapidMiner, también de código abierto. Con este programa se obtienen mejores resultados visuales, aunque no son muy buenos, pero son mucho mejores que los de R.
El tiempo que se dedique a aprender a hacerlas en uno de los paquetes gratuitos merecerá la pena, si se dedica a este campo. No siempre son los predictores más potentes, pero pueden dar muchas ideas sobre lo que ocurre en un conjunto de datos. Por ejemplo, yo siempre hago uno primero para cualquier proyecto: no tienes que corregir los valores que faltan, ni limpiar los datos, ni siquiera eliminar los campos altamente correlacionados con tu objetivo. Ejecute un árbol y muchas cosas quedarán claras. Además, las personas no técnicas lo entenderán fácilmente.
Deberás familiarizarte con sus puntos débiles. Uno de los principales es que agrupan los valores categóricos de formas que pueden no tener sentido; por ejemplo, juntan los estados de CA y CT en un grupo si esto maximiza los criterios de división. Así que tendrá que asegurarse de que en estos casos dicha agrupación tiene sentido. En el ejemplo anterior, podría poner los estados en regiones y utilizar esto en lugar de estado.
Así que lo más importante es que tengas que aplicar algunos conocimientos de dominio y asegurarte de que el árbol tiene sentido.
HTH