¿Qué indica un valor de logloss negativo?

Question

Estoy usando la función logloss de Python proporcionada aquí y obtengo resultados de -2.99 cuando uso un algoritmo de aprendizaje automático en mi conjunto de datos. ¿Qué significa eso? ¿Las predicciones del algoritmo son malas (o) buenas? ¿Qué tan buenos o malos son?

Este es el código que estoy usando. (También soy nuevo en Python, ¿tal vez mis entradas a la función están totalmente equivocadas?)

    dataset = pd.read_csv('../training.csv')

    cols = dataset[dataset.columns]
    cols.drop(['tobepredicted'], axis=1, inplace=True)
    cols.drop('ID', axis=1, inplace=True)
    features = cols.columns

    target = dataset['tobepredicted']
    train = dataset[features]
    cfr = SVR(C=100, kernel="poly", degree=3)

    #Validación cruzada simple de K-Fold. 5 divisiones.
    cv = cross_validation.KFold(len(train), n_folds=5)

    N = len(dataset)
    l = range(N)

    results = []
    for traincv, testcv in cv:
        trainLen = len(traincv)
        shuffle(l)
        probas = cfr.fit(train.ix[l[:trainLen]], target.ix[l[:trainLen]]).predict(train.ix[l[trainLen:]])
        results.append(llfun(target.ix[l[trainLen:]], probas))
    #imprimir la media de los resultados validados cruzadamente
    print "Resultados: " + str(np.array(results).mean())

Answer 1

La contribución del punto $i$ a la probabilidad es $\mathcal{L}_i = p{_i}^{y_i} (1-p_i)^{1-{y_i}}$ que es tanto $p_i$ o $1-p_i$, ambos son probabilidades, por lo tanto, como máximo pueden ser $1$ y en situaciones prácticas de interés casi siempre son menores que $1$ (y mayores que $0, naturalmente).

Consecuentemente $\log(\mathcal{L}_i)\leq 0$. Una suma de números no positivos también es no positiva, por lo tanto $-\sum_i \log(\mathcal{L}_i)$ debe ser no negativa. Para que pueda ser negativa, se requeriría que un punto contribuya a una probabilidad mayor que $1$ pero esto no es posible con el Bernoulli.

(es decir, como mencionó whuber, nunca puede ser negativo; el signo negativo aplicado a un logaritmo de probabilidad de Bernoulli hace que el resultado sea no negativo)

Answer 2

Scikit implementa métricas de esta manera para que cuanto mayor sea mejor (es decir, para maximizar el puntaje). GridSearchCV siempre intenta maximizar los puntajes.

http://scikit-learn.org/stable/modules/generated/sklearn.grid_search.GridSearchCV.html