¿Cuál es la forma más adecuada de crear un conjunto de retención: eliminar algunos sujetos o eliminar algunas observaciones de cada sujeto?

Question

Tengo un conjunto de datos con 26 características y 31000 filas. Es el conjunto de datos de 38 sujetos. Es para un sistema biométrico. Así que quiero ser capaz de identificar a los sujetos.

Para tener un conjunto de pruebas, sé que tengo que eliminar algunos valores.

Entonces, ¿qué es mejor hacer y por qué?

1. (a) mantener 30 sujetos como conjunto de entrenamiento y eliminar 8 sujetos como conjunto de prueba

2. (b) mantener los 38 temas, pero eliminar algunas filas de cada uno. Así que al final terminaré con un conjunto de entrenamiento 24800 filas de 38 sujetos Y un conjunto de pruebas: 6200 filas de 38 sujetos

Answer 1

A crítico distinción es si quieres hacerlo:

1. [Caso más común]: Construya una estimación del rendimiento en nuevos sujetos (extraídos de la misma población que sus datos).
2. Construir una estimación del rendimiento en las nuevas observaciones del mismo sujetos como en su muestra.

El caso más común es el número (1). Por ejemplo, ¿hasta qué punto se pueden predecir los infartos de alguien que llega a urgencias? Y si estás en el caso (1), tú casi con toda seguridad debería hacer (a) una validación cruzada por temas en lugar de (b) una validación cruzada por registros. Hacer una validación por registro en el caso (1) probablemente conducirá a estimaciones falsas e irrazonables del rendimiento en nuevos sujetos.

No entiendo precisamente lo que intentas hacer (y quizás es autodidacta por lo que la pregunta no es del todo realista). No sé en qué caso estás. Si estás en el caso mucho menos común (2), la validación de registros puede estar bien.

Un tema general en estadística es pensar cuidadosamente en lo que es independiente y lo que está correlacionado. En general, una observación independiente tiende a ser una tema diferente. Si quiere predecir el rendimiento en nuevo temas, ¡debes hacer la prueba en temas que no has entrenado!

¿Por qué la validación cruzada por temas en lugar de por registros?

En los escenarios típicos, las observaciones repetidas del mismo individuo están correlacionadas entre sí incluso después de condicionar las características. Por lo tanto, con la validación cruzada de registros, el conjunto de pruebas no es ¡independientemente de su conjunto de entrenamiento! En el caso extremo de una correlación perfecta, tendrías exactamente las mismas observaciones en el conjunto de entrenamiento y en el conjunto de prueba. Estarías entrenando en el conjunto de prueba. El rendimiento medido en la validación cruzada sería no ser predictivo del rendimiento en las nuevas asignaturas.

Por ejemplo, este documento reciente llama a la validación cruzada de registros, ``Voodoo Machine Learning''.

Pero qué hacer con tan pocos sujetos...

Tal vez algunos comentaristas más experimentados que yo con la validación cruzada puedan intervenir, pero para mí, esto parece un posible candidato para $k=n$ (es decir, dejar de lado una validación cruzada)?

Para maximizar los datos para el entrenamiento, algo que podrías hacer es dejar fuera un sujeto para la validación cruzada. En cada iteración, pruebe con un sujeto diferente y entrene con todos los demás.

Si los temas son todos muy diferentes, puede tener efectivamente cerca de $n = 38$ y puede querer poner el mayor número de sujetos independientes en el conjunto de entrenamiento.

Answer 2

Creo que la respuesta de Matthew Gunn es correcta, pero me parece que "récord" de CV puede abarcar dos conceptos diferentes:

1. Los registros se dividen aleatoriamente en pliegues, independientemente del tema o del tiempo.

2. Los registros se dividen en pliegues temporales, sin que se utilice para el entrenamiento ningún pliegue que contenga datos posteriores al inicio del pliegue de prueba.

En el primer caso, cualquier naturaleza de serie temporal de sus datos se ve comprometida, ya que su conjunto de entrenamiento puede incluir datos anteriores y posteriores a su conjunto de prueba. El principio de entrenar/probar es que los datos de entrenamiento representan datos conocidos en el presente, y los datos de prueba representan datos aún no vistos (quizás literalmente del futuro).

Quizá la autocorrelación de las series temporales comprometa la opción 2. Tal vez el elemento temporal del modelo no sea realmente importante y, por tanto, las observaciones "pasadas" y "futuras" sean probablemente las mismas. En estos casos, ni el nº 1 ni el nº 2 son el camino a seguir.

Si sólo hay estacionalidad y no tendencias, parece que está bien incluir "el futuro" en el entrenamiento de algunos sujetos para predecir nuevos sujetos (que se verán afectados por la misma estacionalidad). Si hay tendencias, el entrenamiento sobre el futuro debería aprender algo sobre el futuro que realmente no se sabría al utilizar el modelo en producción.

En el ejemplo del OP, parece que el tema es bueno. Pero si las tendencias y las series temporales forman parte del modelo, yo trataría de utilizar una partición basada en el sujeto y en el tiempo, de modo que se entrenara en un conjunto de sujetos antes de un punto específico en el tiempo, y luego se probara en los otros sujetos después de ese punto específico en el tiempo.

Answer 3

En realidad, depende de cómo te imagines el escenario que quieres emular con la división tren/prueba. Para concretar, digamos que cada fila describe la calidad del sueño de un sujeto en una sola noche.

1. Es posible que, en el futuro, cada sujeto acuda primero a un laboratorio de sueño y le proporcione la calidad del sueño durante unas cuantas noches. A continuación, tendrá que predecir la calidad del sueño de las noches futuras para estos temas . En este caso, utilizaría su opción b). En sklearn , podría utilizar sklearn.model_selection.StratifiedShuffleSplit

2. Es posible que, en el futuro, algunos sujetos acudan primero a un laboratorio de sueño y le proporcionen la calidad del sueño durante algunas noches. A continuación, tendrá que predecir la calidad del sueño de las futuras noches para otros temas . En este caso, utilizaría su opción a). En sklearn , podría utilizar sklearn.cross_validation.LeavePLabelOut

Answer 4

Para intervenir, supongo que la aplicación es para predecir sujetos desconocidos. Eso significa (independientemente de si tiene series temporales o medidas repetidas intrínsecamente desordenadas) que la división debe hacerse de manera que los sujetos desconocidos se prueben => división a)

Sin embargo, teniendo en cuenta que sólo tiene 38 sujetos, debería reflexionar sobre la validación del remuestreo. Desde mi experiencia trabajando con tamaños de muestra igualmente pequeños (aunque con más características), he aquí algunas recomendaciones en pocas palabras:

• Opte por la validación cruzada iterada o fuera del tema. Permiten evaluar la estabilidad de sus modelos, lo cual es crucial en problemas de tamaño de muestra pequeño. Los resultados pueden utilizarse incluso para un modelo agregado en caso de que la inestabilidad sea un problema.

• Haga no hacer una salida de tema. No permite medir la estabilidad del modelo ni reducirla. Además, hay situaciones en las que está sujeto a un gran sesgo pesimista debido al pequeño tamaño de la muestra (frente al mínimo sesgo pesimista que se espera).

• Si utiliza las típicas cifras de mérito de la clasificación, como la precisión, la sensibilidad, la especificidad, etc., y la tarea consiste en clasificar correctamente a los sujetos: tenga en cuenta que el problema crucial es la medición del rendimiento, porque la incertidumbre de los resultados de la prueba depende del número absoluto de casos de prueba. A modo de ejemplo, observar 17 predicciones correctas de 17 sujetos realmente positivos corresponde a un intervalo de confianza del 95% para la sensibilidad que oscila entre el 80% y el 100% aproximadamente.
  En otras palabras, no podrás hacer una optimización del modelo basada en datos.

• Esto también significa que no necesita establecer una división de tres conjuntos (validación cruzada anidada), porque aquí desperdiciaría recursos en comparaciones sin sentido estadístico - su optimización está casi garantizada para fallar (aunque puede no notarlo si no comprueba la estabilidad).

• El mismo cálculo para el intervalo de confianza binomial para los 5 (3) sujetos de prueba/optimización/validación propuestos arroja un 95% de i.c. para todos los correctos, que se extiende hasta el 50% (30%), por lo que, basándose en los resultados perfectos de la prueba, su intervalo de confianza seguiría incluyendo un 50/50 de aciertos.

Algunos trabajos que escribimos sobre estos temas:

• Beleites, C.; Baumgartner, R.; Bowman, C.; Somorjai, R.; Steiner, G.; Salzer, R. & Sowa, M. G. Variance reduction in estimating classification error using sparse datasets, Chemom Intell Lab Syst, 79, 91 - 100 (2005).

• Beleites, C. & Salzer, R.: Assessing and improving the stability of chemometric models in small sample size situations, Anal Bioanal Chem, 390, 1261-1271 (2008). DOI: 10.1007/s00216-007-1818-6

• Beleites, C. y Neugebauer, U. y Bocklitz, T. y Krafft, C. y Popp, J.: Sample size planning for classification models. Anal Chim Acta, 2013, 760, 25-33. DOI: 10.1016/j.aca.2012.11.007
  manuscrito aceptado en arXiv: 1211.1323