Varianza teórica de la puntuación de precisión (binaria) para un adivinador aleatorio

Question

Supongamos que queremos calcular la precisión de un clasificador binario (suponiendo clases equilibradas):

Acc = (TP+TN)/N

Donde N = TP + TN + FP + FN.

Para el caso de un adivinador aleatorio puro en el que cada muestra (real) positiva y negativa tiene la misma probabilidad de ser clasificada correcta o incorrectamente, tenemos que E(TP)=N/4=E(TN)=N/4, luego es sencillo comprobar que E(Acc)= E[(TP+TN)/N]=(1/N)(N/4+N/4)=1/2.

Entonces, si E(Acc)=1/2 para un adivinador aleatorio puro (uniforme), ¿cómo podemos calcular el valor teórico de Var[Acc]?

Answer 1

Al clasificar $N$ muestras y tienen un 50% de probabilidades de acertar cada vez, su TP+TN es un variable aleatoria de distribución binomial $X$ con parámetros $n=N$ y $p=\frac{1}{2}$ . Wikipedia nos dice que

$$\text{Var}(X)=np(1-p)=\frac{N}{4}.$$

Así que

$$\text{Var}(\text{Acc}) = \text{Var}\bigg(\frac{X}{N}\bigg)=\frac{1}{N^2}\text{Var}(X) =\frac{1}{4N}.$$

También, la precisión no es una buena medida de evaluación .