¿Sabe usted una referencia o el nombre de la siguiente manera para investigar si una compleja técnica de modelado $T$ está sesgada?
- Se aplican $T$ para el conjunto de datos original. Medir su rendimiento (por ejemplo, R cuadrado de la regresión).
- Al azar permutar la variable de respuesta para obtener un nuevo conjunto de datos. Se aplican $T$ y medir su rendimiento $P'$. [Si las observaciones son dependientes, este paso es más complicado.]
Si $P'$ es sustancialmente diferente de cero de rendimiento, llegamos a la conclusión de $T$ es sesgada.
Paso 2 puede ser repetido si los recursos lo permiten, lo que llevaría a la permutación nula distribución de la medida de rendimiento. Pero en mi aplicación, no puedo hacer esto debido a problemas de recursos.
Me oscuro recordar que esta "reorganización" truco fue utilizado por alguien para investigar el sesgo de dejar-uno-fuera de validación cruzada (en algunas). No sé, sin embargo, si estuviera en mi situación en la que él podría repetir el proceso entero de una sola vez.
Un ejemplo en R que muestra el "poder" de ingenuo hacia atrás de selección:
# Generate random data set. Only random performance is expected.
n <- 100
p <- 30
set.seed(7567)
y <- rnorm(n)
X <- rnorm(n*p)
dim(X) <- c(n, p)
data <- data.frame(y, X)
# Modelling technique: backward selection with OLS
T <- function(data) {
step(lm(y ~ ., data = data), trace = 0)
}
# Performance: R-squared
P <- function(fit) {
summary(fit)$r.squared
}
# Step 1: Compute performance on original data. Happily publish high R-squared...
P(T(data)) # 0.240405
# Step 2: Your mean colleague reshuffles response and gets also R-squared far away from 0
data$y <- data$y[sample(n)]
P(T(data)) # 0.1925726
Conclusión: El elegido técnica de modelado es muy propenso a sobreajuste, al menos en este contexto específico.
