La interpretación de la bolsa de error estimado para RandomForestRegressor

Question

Estoy usando RandomForest regresor en mis datos y yo podía ver que el oob puntuación fue obtenida a 0.83. No estoy seguro de cómo llegó a ser así. Me refiero a mis objetivos son altos valores en el rango de 10^7. Lo que si es MSE, entonces debe haber sido mucho mayor. No entiendo lo que 0.83 significar aquí.

Estoy usando python RandomForestRegressor de la sklearn kit de herramientas.

Hago

modelo = RandomForestRegressor(max_depth=7, n_estimators=100, oob_score=True, n_jobs=-1) modelo.ajuste(trainX, trainY )

Entonces veo el modelo.oob_score_ y me da valores como 0.83809026152005295

Answer 1

Con el fin de comparar el terreno de la verdad (es decir, correcto/real) objetivo de los valores estimados (es decir, del valor predicho) los valores de destino por el bosque aleatorio , scikit-learn no utilizar el MSE, sino $R^2$ (a diferencia de por ejemplo, MATLAB o (Breiman 1996b)), como se puede ver en el código de forest.py:

self.oob_score_ = 0.0
for k in xrange(self.n_outputs_):
    self.oob_score_ += r2_score(y[:, k], predictions[:, k])
self.oob_score_ /= self.n_outputs_

r2_score() calcula el coeficiente de determinación (aka. R2, cuyo mejor resultado posible es 1.0, y los valores más bajos son peores.

FYI:

• ¿Cuál es la salida de bolsa de error en Bosques Aleatorios?
• ¿Cuál es la diferencia entre el "coeficiente de determinación" y "error cuadrático medio"?
• Breiman, Leo. Fuera de la bolsa de estimación. Informe técnico del Departamento de Estadística de la Universidad de California en Berkeley, Berkeley, CA 94708, 1996b. 33, 34, 1996.