Curva ROC para comparar los modelos de probabilidad de impago

Question

Estoy intentando comparar dos modelos diferentes de probabilidad de impago mediante la curva roc. He calculado la PD de 8 empresas mediante dos modelos diferentes. Conozco los fundamentos de la curva roc y puedo calcular la fpr y la tpr. pero no sé cómo trazar la roc para diferentes umbrales en r o Matlab.

edit :aparentemente la curva roc no puede ayudar con muestras bajas como la mía. ¿algún otro enfoque para comparar modelos?

Answer 1

Respuesta a la pregunta 1 . En R, la biblioteca pROC puede ayudarle a crear la curva RoC así como a calcular el gini. El código genérico de R para el mismo es el siguiente:

Almacenar el resultado del modelo predicho en un vector pred_model

Aquí Reg se supone que es su modelo y los datos se supone que se almacenan en el marco llamado df. Supongamos que la columna DefaultStatus contiene el estado por defecto/no por defecto (debería ser una clasificación dicotómica)

pred_model <- predice(Reg, newdata = df,type="response")

roc(df \$DefaultStatus,df\$ pred_model,plot-True)

Respuesta a la pregunta 2. Una matriz de confusión, que identifique cuántos incumplimientos pudo capturar correctamente (tasa de aciertos) y cuántos no incumplimientos clasificó como incumplimientos (tasa de falsos positivos) puede ayudarle a cuantificar la eficacia del modelo en este caso. Un buen modelo debería tener un alto índice de aciertos y un bajo índice de falsos positivos, aunque el peso que le asigne a cada uno puede variar en función de su aversión al riesgo frente al coste de oportunidad. Por ejemplo, si es absolutamente importante para usted no pasar por alto ningún impago, preferirá un modelo con un alto índice de aciertos, aunque lleve a que varios impagos se clasifiquen erróneamente como impagos. Por otro lado, si le preocupa más la pérdida de oportunidades por no conceder un crédito a un cliente solvente, pondrá más énfasis en reducir la tasa de falsos positivos.

Como usted mismo ha mencionado, una muestra de 8 personas es demasiado pequeña para comprobar la eficacia de los modelos.