¿Qué es un algoritmo de "tasa de información"?

Question

Tengo previsto implementar la "tasa de no información" como parte de las estadísticas de resumen. Esta estadística está implementada en r ( Optimizar la SVM para evitar los falsos negativos en la clasificación binaria ) pero no en Python (al menos no encuentro una referencia) .

¿Existe una referencia canónica a la que pueda remitirme para aplicar este algoritmo?

He buscado en Wikipedia y en varias búsquedas en Google pero no he encontrado ninguna referencia.

Actualización :

Lectura de caret doc https://cran.r-project.org/web/packages/caret/caret.pdf

" El índice de precisión global se calcula junto con un intervalo de confianza del 95 por ciento para este índice (usando binom.test) y una prueba unilateral para ver si la precisión es mejor que la "tasa de no información que se toma como el mayor porcentaje de la clase en los datos. "

Answer 1

Supongamos que tiene respuesta $y_i$ y las covariables $x_i$ para $i = 1 ...n$ y alguna función de pérdida $\mathcal{L}$ . La tasa de error sin información de un modelo $f$ es la pérdida media de $f$ sobre todas las combinaciones de $y_i$ y $x_i$ :

$${1 \over n^2} \sum_{i=1}^n \sum_{j=1}^n \mathcal{L}\left(y_i, f(x_j)\right)$$

Si tienes un vector de predicciones predicted y un vector de respuestas response se puede calcular la tasa de error sin información generando todas las combinaciones de predicted y response y luego evaluar alguna función loss en estos vectores resultantes.

En R, suponiendo una pérdida de RMSE, (utilizando el tidyr biblioteca) esto parece:

predicted <- 1:3
response <- 4:6
loss <- function(x, y) sqrt(mean((x - y)^2))

combos <- tidyr::crossing(predicted, response)
loss(combos$predicted, combos$response)

En Python esto se ve como

import numpy as np

predicted = np.arange(1, 4)
response = np.arange(4, 7)

combos = np.array(np.meshgrid(predicted, response)).reshape(2, -1)

def loss(x, y):
    return np.sqrt(np.mean((x - y) ** 2))

loss(combos[0], combos[1])

Answer 2

La tasa de error sin información es la tasa de error cuando la entrada y la salida son independientes. Se puede calcular evaluando la regla de predicción en todas las combinaciones posibles del objetivo y las características, es decir, como

$$\hat \gamma = \frac{1}{N}\sum_{i=1}^N\sum_{j=1}^NL\left(y_i, \hat f(x_j)\right).$$

Answer 3

La tasa de información no es el clasificador Naive que necesita ser superada para demostrar que el modelo que hemos creado es significativo. Calculamos la precisión y la comparamos con el clasificador ingenuo. La precisión debe ser mayor que el índice de información nula (clasificador ingenuo) para que el modelo sea significativo.