XGBClassifier y XGBRegressor

Question

Soy un novato en Xgboost y me gustaría utilizarlo para la regresión, en particular, la predicción de precios de automóviles. Empecé a seguir un tutorial sobre XGboost que utiliza XGBClassifier y objective= 'binary:logistic' para la clasificación y aunque estoy prediciendo precios, hay una opción para objective = 'reg:linear' en XGBClassifier.

1) ¿Deben utilizarse siempre XGBClassifier y XGBRegressor para la clasificación y la regresión, respectivamente?

2) ¿Por qué existe la opción objective ='reg:linear' para XGBClassifier? ¿No debería estar disponible sólo en XGBRegressor?

3) ¿Es la "varianza explicada" la mejor métrica para evaluar un modelo de regresión? o ¿quizá el RMSE?

Answer 1

1) ¿Deben utilizarse siempre XGBClassifier y XGBRegressor para clasificación y regresión respectivamente?

Básicamente sí, pero algunos argumentarían que la regresión logística es de hecho un problema de regresión no de clasificación, donde predecir probabilidades . Se puede llamar "clasificación suave" a la predicción de probabilidades, pero se trata de una convención de nomenclatura.

2) ¿Por qué existe la opción objetivo ='reg:linear' para XGBClassifier? ¿No debería estar disponible sólo en XGBRegressor?

La regresión logística utiliza función de pérdida logística pero nadie te prohíbe minimizar la pérdida al cuadrado, es decir, la diferencia al cuadrado entre las probabilidades previstas y los ceros y unos objetivo. Por lo que entiendo de la documentación, esto es lo que hará XGBoost si se utiliza la opción 'reg:linear' aquí. Véase también el parámetro ¿Cuál es la diferencia entre regresión lineal y regresión logística? hilo.

3) ¿Es la "varianza explicada" la mejor métrica para evaluar un modelo de regresión? o quizás el RMSE?

No existe "la mejor métrica"; si existiera, la utilizaríamos para todos los problemas y no tendríamos múltiples métricas. La métrica es específica para cada problema.